Японский стартап Sakana заявил, что его ИИ смог создать одну из первых рецензируемых научных публикаций. Однако не всё так просто.
Компания использовала систему The AI Scientist-v2, которая сгенерировала статью полностью — от гипотез до анализа данных, кода экспериментов и текста. Статью отправили на воркшоп конференции ICLR, а организаторы согласились провести эксперимент с двойным слепым рецензированием ИИ-генерированных работ.
Sakana, совместно с исследователями из Оксфорда и Университета Британской Колумбии, подала три такие статьи. Одна из них, посвящённая методам обучения нейросетей, прошла рецензирование. Однако позже Sakana сама отозвала работу, ссылаясь на необходимость прозрачности.
Несмотря на заявленный успех, к эксперименту есть вопросы. Во-первых, статьи отбирали люди, что уже говорит о вмешательстве. Во-вторых, воркшопы конференций менее строгие, чем основной научный трек. Sakana прямо признаёт, что ни одна из её статей не прошла бы стандартное рецензирование ICLR.
Кроме того, ИИ допускал ошибки, например, приписывая методы 2016 года статье 1997 года. Некоторые эксперты, в том числе Мэтью Гуздиал (Университет Альберты) и Майк Кук (King’s College London), считают, что Sakana скорее доказала эффективность тандема “человек + ИИ”, а не самостоятельность машин.
Компания не утверждает, что её ИИ способен на научные прорывы. Цель эксперимента — понять, насколько качественным может быть ИИ-генерируемый научный контент и какие нормы должны регулировать его использование.
Sakana признаёт, что ключевой вопрос — не просто прохождение рецензирования, а реальный вклад в науку.
