Группа из 64 математиков создала новый бенчмарк SOOHAK для оценки ИИ-моделей. Он показывает два слабых места современных систем: математику исследовательского уровня и умение распознавать задачи, у которых нет корректного решения.
Над SOOHAK работали исследователи из Carnegie Mellon University, EleutherAI, Seoul National University и других организаций. Набор включает 439 оригинальных задач.
- 340 задач входят в раздел Challenge и рассчитаны на уровень магистратуры, аспирантуры и научной работы.
- 99 задач входят в раздел Refusal и намеренно содержат противоречия или недостающие условия, из-за чего однозначный ответ невозможен.
В отличие от типичных наборов, SOOHAK не собран из олимпиадных архивов или учебников. Все задачи написали с нуля: 38 профессоров, 25 PhD-студентов и постдоков, а также пять медалистов IMO. Перед сдачей материалов каждый участник должен был подтвердить, что не использовал ИИ. Тех, кто пытался добавить задания, сгенерированные LLM, исключали из проекта.
По данным авторов, в разделе Challenge лучший результат показала Google Gemini 3 Pro — 30%. Далее идут GPT-5 (версии 5.1 и 5.2) с результатом 26%. Claude Opus 4.5 набрала 10%. Модели с открытыми весами, включая Kimi-2.5, Qwen3-235B и GPT-OSS-120B, остались ниже 15%. При этом ни одна протестированная модель не решила 124 задачи из Challenge.
На более простом наборе SOOHAK-Mini, который охватывает уровень от школьной олимпиады до ранних курсов университета, результаты заметно выше, а разрыв между лидерами меньше. По словам авторов, разница резко растет на математике исследовательского уровня, особенно у моделей с открытыми весами. Исследователи считают, что такие системы хуже переносят знания на неопубликованные материалы из-за меньшего покрытия редких тем в обучении.
Ключевое отличие SOOHAK от прежних бенчмарков — раздел Refusal. В него вошли задачи, которые на этапе проверки признали нерешаемыми: в них отсутствуют нужные предпосылки или есть внутренние противоречия. Модель получает балл только в том случае, если замечает и называет ошибку, а не выдает уверенный числовой ответ.
В этом разделе ни одна модель не преодолела отметку 50%. Лучший результат у модели с открытыми весами GLM-5 — чуть ниже 50%, что выше показателей GPT-5 и Gemini 3 Pro. Линейка Qwen3 показала менее 3% и почти всегда не распознавала дефектные условия.
Авторы называют распознавание некорректных задач «новой целью оптимизации, которую текущие модели напрямую не решают». Они отмечают, что рост размера модели и бюджета на рассуждение почти линейно повышает качество решения обычных задач, но почти не помогает в случаях, когда системе нужно признать отсутствие ответа.
Для сравнения с людьми команда привлекла 25 участников из пяти групп — от медалистов IMO до математиков с PhD. На выборке из 79 задач все группы вместе решили 51%. Выше этого уровня поднялась только Gemini-3-Pro, набрав 61%.
При этом исследователи с PhD выступили слабее студентов с олимпиадным опытом. Авторы связывают это с форматом теста: окно в 4,5 часа лучше подходит для коротких путей решения, характерных для математических соревнований. Широкий набор тем, напротив, не дает преимущества узким научным специалистам. Поэтому SOOHAK в первую очередь измеряет соревновательную математику в условиях ограниченного времени, а не глубину научной работы.
Полный набор данных не будут публиковать до конца 2026 года, чтобы снизить риск попадания задач в обучающие выборки. До этого команда готова тестировать модели по запросу. Авторы также признают ограничения SOOHAK: формат с чистыми числовыми ответами исключает значительную часть высшей математики, где лучше подходят доказательства, построения или контрпримеры. В будущем, по их мнению, могут понадобиться более богатые форматы, включая формальные системы проверки доказательств или экспертные панели.
Насколько далеко ИИ продвинулся в исследовательской математике, пока неясно. Лауреат Филдсовской премии Тимоти Гауэрс недавно заявил, что ChatGPT 5.5 Pro получил результат уровня PhD в теории чисел менее чем за два часа, заменив экспоненциальную оценку на полиномиальную. GPT-5.2 Pro, по его словам, также предложила новое доказательство задачи Эрдёша №281, которое математик Теренс Тао назвал «довольно отличным» от прежних доказательств.
При этом Тао призывает не делать из отдельных успехов слишком широких выводов. По его словам, при системной проверке на открытых задачах Эрдёша реальная доля успеха моделей составила 1–2%, в основном на более простых примерах. Именно этот разрыв между отдельными яркими результатами и устойчивым уровнем научной работы SOOHAK и пытается измерить.
Источник: The Decoder.
