Исследователи ByteDance показали, что крупные модели рассуждений часто продолжают «думать» значительно дольше, чем нужно. Модели уже формируют правильный ответ и фактически «знают», что задача решена, однако стандартные методы семплирования не позволяют им остановиться.
Проблема иллюстрируется на ряде моделей. Deepseek-R1 на бенчмарке AIME 2025 выдаёт ответы почти в пять раз длиннее, чем Claude 3.7 Sonnet, при сопоставимой точности. Модель QwQ-32B показывает результат на 2 процентных пункта выше при использовании самых коротких ответов и тратит на это на 31 % меньше токенов. В 72 % случаев, когда модель генерировала и правильный, и ошибочный вариант, более длинный ответ оказывался ошибочным.
Чтобы оценить масштаб, авторы ввели метрику RFCS (Ratio of the First Correct Step), которая показывает, на каком шаге цепочки рассуждений впервые появляется правильное решение по отношению к общей длине вывода. На наборе MATH-500 правильный ответ возникает задолго до окончания рассуждений более чем в половине верно решённых задач.
В одном из примеров модель получила правильный ответ примерно после 500 токенов, но продолжила генерировать ещё 452 токена, снова перепроверяя и переформулируя уже найденное решение. Такой паттерн наблюдается как у меньших моделей, например Deepseek-R1-Distill-Qwen-1.5B, так и у более крупных, таких как Qwen3-8B. Усиленное постобучение эту проблему не устраняет.
Исследование показывает, что при запуске нескольких независимых цепочек рассуждений во время инференса модели стабильно находят короткие и точные цепочки, которым присваивают высокую уверенность. Для этого авторы используют метод TSearch, который оценивает среднюю вероятность по всей цепочке размышлений, а не по отдельным токенам.
Наблюдения три: выбранные траектории дают более короткие и точные ответы; в точке завершения рассуждений токен остановки стабильно занимает первое место по вероятности следующего шага, то есть модель «считает», что закончила; увеличение числа параллельных цепочек делает это поведение более устойчивым. Вывод исследователей: способность к эффективному завершению рассуждений уже есть внутри моделей, но стандартные схемы семплирования её не используют.
Для решения проблемы команда предложила метод SAGE (Self-Aware Guided Efficient Reasoning). Вместо покадрового расширения текста модель с SAGE наращивает цепочку крупными логическими шагами, после каждого из которых проверяет, подаёт ли сигнал завершения. Если да, рассуждение останавливается.
В экспериментах поведение SAGE зависело от связки «модель–задача». На сильных моделях и сложных бенчмарках точность в первую очередь росла. При использовании более слабых моделей на простых заданиях длина ответов заметно сокращалась. Авторы объясняют это так: SAGE уменьшает избыточное «размышление» там, где модель и так справляется, и помогает находить более качественные решения там, где потенциал модели использован не полностью.
Чтобы закрепить эти паттерны в самих моделях, исследователи предложили схему обучения SAGE-RL, небольшое изменение стандартного обучения с подкреплением. Из восьми откликов в одной группе два генерируются методом SAGE, а шесть — обычным семплированием. Модель в процессе обучения учится отдавать предпочтение более компактным и точным цепочкам.
Результаты на шести математических бенчмарках, включая MATH-500, AIME 2024 и 2025, OlympiadBench, показывают стабильную картину: существующие методы сокращения вывода вроде LC-R1, ThinkPrune, AdaptThink уменьшают число токенов, но ухудшают точность. SAGE-RL улучшает оба показателя. Например, у Deepseek-R1-Distill-Qwen-7B метод SAGE-GRPO повысил точность на MATH-500 до 93 % против 91,6 %, сократив среднюю длину ответа с 3 871 до 2 141 токена.
На AIME 2025 точность DS-1.5B выросла на 6,2 процентного пункта. У модели Qwen3-8B, одной из самых сильных в своём классе, SAGE-GRPO уменьшил длину ответа с 18 342 до 9 183 токенов без потери точности. Время инференса для большинства моделей и бенчмарков сократилось более чем на 40 %.
Наибольший выигрыш зафиксирован на самых сложных задачах, что, по мнению авторов, показывает потенциал для повышения эффективности именно в сложных режимах рассуждений. Работа указывает, что снижение «переосмысления» может не требовать новых архитектур или сильно изменённых функций вознаграждения — возможно, достаточно явно учитывать момент, когда модель сама подаёт сигнал, что закончила.
Тема избыточного «мышления» в моделях рассуждений изучается уже давно. Около года назад было показано, что чрезмерные размышления в интерактивных сценариях заметно снижают качество ответов. Более свежая работа Google показала, что модели рассуждений строят цепочки мыслей как внутренние дебаты между разными «точками зрения». Это повышает точность, но объясняет, почему вывод занимает много шагов и времени.
Источник: исследование ByteDance, материалы по бенчмаркам и методам SAGE / SAGE-RL.
