Математические возможности ИИ-моделей за последние два года выросли от уровня школьной арифметики до олимпиадных задач и исследовательской математики. В подкасте OpenAI исследователи Себастьян Бубек и Эрнест Рю объяснили, почему математика стала для них ключевой проверкой на пути к AGI — общему искусственному интеллекту.
По словам Бубека, ещё четыре года назад его впечатлило, что модель Minerva от Google могла провести линию через точки на координатной плоскости. Сейчас, как он рассказал Эндрю Мейну, такие системы уже помогают лауреатам медали Филдса в ежедневной работе. Бубек также отметил, что ещё 18 месяцев назад 80% математиков на одной из конференций считали невозможным, что масштабированные большие языковые модели смогут решать исследовательские задачи.
Эрнест Рю, бывший профессор математики UCLA, рассказал, что с помощью ChatGPT решил открытую 42-летнюю проблему, связанную с методом Нестерова в теории оптимизации. На это ушло 12 часов за три вечера. До этого он потратил более 40 часов без ИИ и не продвинулся. По его словам, он выступал в роли проверяющего: отлавливал ошибки и направлял диалог в полезную сторону.
Бубек считает, что математика удобна как критерий прогресса AGI не случайно. Доказательства требуют длинной и последовательной цепочки рассуждений, которая может длиться часы, дни и даже годы. При этом одна ошибка может разрушить весь результат, даже если остальные шаги верны. Система, которая справляется с такой работой, должна уметь замечать и исправлять собственные ошибки.
По словам исследователей, этот подход они хотят перенести и на другие сферы, включая биологию и материаловедение. Бубек сравнил это с обучением людей: студенты изучают математику не ради доказательств как таковых, а потому что она учит логическому мышлению.
У математики есть и практические плюсы как у теста для моделей. Задачи в ней формулируются чётко, ответы можно проверить, а корректность результата обычно не вызывает споров. Бубек использует понятие «время AGI»: два года назад модели могли имитировать рассуждение ученика в течение нескольких минут, а теперь — в течение дней или даже недели. Следующая цель — недели и месяцы.
Как уточнил Бубек, методы обучения OpenAI не привязаны только к математике. По его словам, это общие методы, поэтому прогресс должен проявиться и в других науках. Исследователи также работают над «автоматизированным исследователем», который сможет самостоятельно заниматься задачами на длинных отрезках времени.
В подкасте Бубек и Рю также обсудили задачи Эрдёша — набор открытых вопросов, оставленных венгерским математиком Полом Эрдёшем. По словам Бубека, внутренние модели OpenAI сначала нашли решения для десяти задач, считавшихся открытыми, в основном за счёт глубокого поиска по научной литературе. Его неточный твит по этой теме вызвал публичный спор с главой Google DeepMind Демисом Хассабисом, поскольку многие восприняли сообщение как заявление о новых доказательствах от OpenAI.
Сейчас, как утверждает Бубек, ChatGPT и внутренние модели OpenAI уже получили более десяти действительно новых решений, которые подходят для публикации в научных журналах. По его мнению, это показывает переход от пересборки уже известного знания к созданию новой математики, хотя вопрос о том, сводится ли научный прогресс к такой пересборке и рассуждению, он оставил открытым.
Оба исследователя предупредили, что использовать такие инструменты поверхностно опасно. Они считают, что экспертиза становится ещё важнее, потому что продуктивно применять модели могут прежде всего подготовленные математики. По словам Рю, люди без подготовки, которые публикуют в соцсетях длинные доказательства, сгенерированные ИИ, чаще всего ошибаются. Похожую картину он видит и в программировании, где новое поколение, по его мнению, теряет навык работы с отладчиками.
Бубек добавил, что заявления о ненужности учёных опасны. По его мнению, академические институты должны активнее возвращать себе эту роль. При этом ИИ уже может ускорить проверку доказательств, которая сейчас порой занимает годы, а также помогать находить проблемы в опубликованных статьях.
Источник: The Decoder, подкаст OpenAI.
