Новое исследование показало, что модели Alibaba Qwen2.5 показывают высокие результаты по математике в основном за счет запоминания данных из обучающей выборки, а не настоящих рассуждений.
Исследователи выяснили, что кажущееся улучшение математических способностей Qwen2.5 во многом объясняется так называемым “загрязнением данных”. При тестировании на “чистых” бенчмарках, которые не использовались во время обучения, производительность Qwen2.5 резко упала.
В эксперименте модель получила только первые 60% задач из набора MATH 500 и должна была дополнить оставшиеся 40%. Qwen2.5-Math-7B восстановил их с точностью 54,6% и правильно отвечал в 53,6% случаев. Для сравнения, Llama3.1-8B смог сделать это лишь в 3,8% и 2,4% соответственно. Это говорит о том, что Qwen2.5 видел эти задачи в тренировке.
Далее исследователи проверили Qwen2.5 на новом бенчмарке LiveMathBench (версия 202505), опубликованном после выхода модели. Здесь Qwen2.5 не смог решить новые задачи — точность ответов снизилась до 2%, а успешное дополнение — до нуля, как и у Llama.
Скорее всего, причина в том, что Qwen2.5 обучался на больших онлайн-датасетах, включая репозитории GitHub с задачами и решениями из стандартных бенчмарков. Даже при случайных или неверных сигналах вознаграждения это позволяло модели улучшать результаты на MATH-500 за счет “узнавания” задач.
Чтобы получить объективную оценку, команда создала набор RandomCalculation с полностью новыми арифметическими задачами, сгенерированными после релиза Qwen2.5. На увеличивающейся сложности задач точность Qwen2.5 снижалась. Только правильные сигналы вознаграждения улучшали обучение, случайные делали его нестабильным, а “инвертированные” ухудшали навыки.
Эксперименты с RLVR (обучение с подкреплением и проверяемой наградой) показали: стабильное повышение результатов происходило только с правильными наградами, случайные и инвертированные не помогали или ухудшали обучение.
Авторы подчеркивают: способности Qwen2.5 к математике объясняются запоминанием данных. Это ставит под сомнение утверждения о “настоящем” математическом мышлении ИИ.
Alibaba представила Qwen2.5 в сентябре 2024 года, затем выпустила серию Qwen3. Применимы ли выводы исследования к Qwen3, пока неизвестно.
Ученые предупреждают: загрязнённые бенчмарки дают искажённое представление о развитии ИИ. Для объективной оценки советуют использовать исключительно новые, “чистые” наборы задач и проверять работу разных серий моделей.
Полученные данные показывают, насколько сложно отличить реальное мышление искусственного интеллекта от простого заучивания. Особенно это важно для доверия к ИИ — уже известно, что бенчмарки можно “обходить”.
Например, Meta представила версию Llama 4, специально обученную для показателей на бенчмарке LMArena через подгонку формата ответов. В других исследованиях выяснилось: модели Gemini 2.5 Pro и Claude 3.5 Sonnet способны распознавать сценарии теста с точностью до 95% и менять свои ответы — это вызывает все больше вопросов к актуальным методам оценки.
*Meta – запрещенная в РФ организация.
