Лауреат премии Тьюринга Ричард Саттон заявил, что обычный генеративный ИИ не хватает ключевой способности для научных открытий: такие системы не умеют самостоятельно оценивать и развивать результаты своей работы.
По словам Саттона, большие языковые модели, генераторы изображений и видео обучаются на огромных массивах примеров и создают ответы, похожие на исходные данные. Если результат получается качественным, это чаще всего связано с материалом, на котором модель обучалась. А если ответ выходит за пределы этих данных и выглядит новым, то в случае фактических запросов это часто оказывается галлюцинацией.
Свою мысль исследователь иллюстрирует старой шуткой из академической среды: «Эта работа одновременно новая и хорошая. К сожалению, те части, которые хороши, не новы, а те части, которые новы, нехороши». По его мнению, это описание подходит для значительной части современного генеративного ИИ: он умеет подражать полезным вещам или случайно выдавать что-то новое, но сам не может понять, какие новые идеи действительно ценны.
При этом Саттон не отрицает практическую пользу генеративных моделей для сводок, исследований, ассистентов и развлечений. Он говорит: «Generative AI can be extremely useful, even when it just mimics, if it is faster, or cheaper, or smaller, or more customizable, or more copy-able, than the thing being mimicked».
По оценке Саттона, это ограничение особенно важно для науки, где задача состоит не в повторении уже известного, а в том, чтобы находить новое, проверять его и превращать в устойчивое знание.
Исследователь описывает настоящее открытие как процесс из трёх шагов: вариация, оценка и избирательное сохранение.
- система должна создавать разные варианты;
- затем проверять их;
- после этого сохранять и повторно использовать подходы, которые работают.
Саттон отмечает, что этот принцип действует в эволюции, научном методе, планировании, поиске и обучении с подкреплением. Главный недостающий элемент для чисто генеративного ИИ — оценка. Языковые и визуальные модели действительно создают разные варианты, но без проверки нет отбора лучших решений и нет открытия.
Он формулирует это так: «The novelty flickers into existence, but if its value is unrecognized, it flickers away and is lost».
Оценку может давать человек, например когда пользователь выбирает лучший вариант изображения из нескольких. Но она может исходить и из чёткой цели: это мат, формально корректное доказательство, успешный запуск программы или высокий результат в симулируемой среде. По словам Саттона, именно такая обратная связь превращает простую генерацию в процесс поиска и открытия.
Он добавляет, что некоторые системы, которые выходят за рамки обычного генеративного ИИ, уже «capable of true creativity and true discovery».
В качестве примеров Саттон приводит:
- AlphaGo и знаменитый ход 37;
- AlphaZero с его своеобразным стилем игры в шахматы;
- AlphaFold для предсказания структуры белков;
- AlphaProof в математике;
- Claude Code в программировании;
- GT-Sophy в гоночных симуляторах.
Общее у таких систем — контур оценки, который выходит за рамки простой генерации текста или изображений. Ход в Go либо повышает шанс на победу, либо нет. Математический шаг либо проходит формальную проверку, либо нет. Код либо проходит тесты и работает корректно, либо завершается ошибкой.
Саттон говорит: «All these systems have some additional features that make them capable of true creativity and true discovery».
Его критика направлена именно на «обычный» генеративный ИИ — модели, которые не оценивают собственный вывод во время работы. По его словам, языковые модели, дополненные поиском, верификаторами, внешними инструментами, обучением с подкреплением или формальными проверками, уже могут становиться частью систем для настоящих открытий. При этом, насколько далеко такой подход можно распространить за пределы программирования, игр и задач с чёткой проверкой, пока остаётся открытым вопросом.
Саттон также указывает на проблему в обучении нейросетей. Стандартные сети начинают с случайных параметров и затем обучаются на данных. Эта случайность даёт вариативность, но в основном только на старте. Со временем модели могут терять способность учиться, поскольку их внутренние структуры становятся жёсткими.
По мнению исследователя, по-настоящему обучающаяся система не должна проходить обучение один раз и на этом останавливаться. Ей нужно постоянно обновлять свою структуру: пробовать новые варианты, сохранять рабочие и отбрасывать неудачные. Он формулирует цель так: «Let’s fully automate Creativity and Discovery!»
Недавно Саттон также критиковал ИИ-индустрию в целом и заявлял, что она «lost its way». Его основное возражение связано с тем, что отрасль слишком сосредоточена на всё более крупных языковых моделях, которые поглощают огромные объёмы знаний на этапе обучения, но не учатся на собственном опыте со временем.
Вместо этого Саттон призывает развивать ИИ-агентов, которые непрерывно взаимодействуют со своей средой, учатся на этом опыте, строят внутренние модели и планируют новые стратегии. В его подход также входит метаобучение: системы должны учиться тому, как лучше учиться, а не просто копировать отдельные задачи.
В архитектуре Oak Саттон описывает возможный путь к более мощным ИИ-системам. Главная идея состоит в том, что агент начинает без встроенных специальных знаний, действует в среде, получает обратную связь и со временем формирует всё более абстрактные понятия. Полезные понятия затем становятся основой следующего этапа обучения.
Ключевым открытым условием для этого Саттон называет устойчивое непрерывное обучение. По его словам, современные нейросети часто плохо усваивают новые знания без перезаписи старых или без потери способности приспосабливаться.
Источник: The Decoder.
