Исследователи из UMD, UVA, WUSTL, UNC, Google и Meta представили AutoTTS — систему, в которой алгоритмы для test-time scaling ищет не человек, а кодовый агент в симулированной среде.
Test-time scaling, или TTS, повышает качество ответов больших языковых моделей за счёт дополнительных вычислений во время вывода. Обычно это делается через запуск нескольких вариантов решения параллельно или за счёт более длинной цепочки рассуждений. До сих пор правила, по которым модель запускала новые ветки, продолжала перспективные или останавливала неудачные, в основном задавали люди.
Авторы AutoTTS предлагают другой подход. Вместо ручной разработки алгоритма они создают офлайн-среду, в которой ИИ-агент сам подбирает способ управления вычислениями.
В работе говорится, что многие известные методы можно рассматривать как частные случаи общей схемы управления с двумя параметрами: ширина показывает, сколько путей решения запускается одновременно, а глубина — насколько далеко продвигается каждый из них.
Для каждой задачи команда заранее генерирует несколько путей решения с помощью языковой модели и сохраняет их. Затем новый управляющий алгоритм распределяет вычисления на уже готовых данных, поэтому можно быстро проверять тысячи вариантов без повторного запуска самой модели.
Поиск выполнял Claude Code. В течение нескольких раундов агент анализировал результаты прошлых запусков, находил слабые места ранних версий и писал новый алгоритм напрямую в коде. Чтобы поиск не распадался на слишком много мелких настроек, каждая версия могла использовать только один верхнеуровневый контроллер, который сам задавал остальные пороги.
Авторы также сохраняли подробные журналы выполнения. Это помогало агенту видеть, где прежние варианты тратили вычисления без пользы, и исправлять такие решения в следующих итерациях.
На математических бенчмарках AIME и HMMT найденный агентом алгоритм показал лучшую точность на единицу вычислений, чем устоявшиеся методы. В экономном режиме расход токенов снизился примерно на 70% по сравнению со стандартной self-consistency, где модель генерирует 64 ответа параллельно, а затем выбирается вариант большинства. При этом точность сохранилась на том же уровне.
Алгоритм также перенесли на другую модель — DeepSeek-R1-Distill-Llama-8B — и на нематематический бенчмарк GPQA-Diamond. Весь процесс поиска стоил около 40 долларов и занял 160 минут.
По описанию авторов, найденная программа отслеживает, как меняется уверенность модели в течение нескольких раундов. В отличие от многих других методов, она не останавливается сразу, как только один из вариантов получает простое большинство.
Если уверенность почти не меняется, алгоритм открывает больше путей решения. Если она быстро растёт, новые пути не добавляются. Ветки, чьи промежуточные результаты совпадают с текущим мнением большинства, получают дополнительные вычисления. Расходящиеся ветки удаляются только в том случае, если несколько раундов подряд продолжают вести в неверную сторону.
Авторы считают, что такую схему координации было бы почти невозможно спроектировать вручную. Абляционное исследование показало, что два решения особенно важны: ограничение одним верхнеуровневым контроллером и наличие детальных журналов выполнения.
Если убрать ограничение на один контроллер, агент начинает выбирать крайние упрощения. Они сильно экономят вычисления в тестах, но заметно снижают точность на новых задачах. Без подробных логов найденный алгоритм расходует больше вычислений и при этом показывает худший результат.
Авторы ставят AutoTTS в один ряд с FunSearch, AlphaEvolve и ADAS — работами, где языковые модели выступают как системы поиска программ. Новизна AutoTTS в том, что этот подход применили к test-time scaling, который раньше в основном настраивали вручную.
Текущая версия системы охватывает только компромисс между шириной и глубиной. Она пока не работает с более сложными схемами, например с древовидным поиском. Кроме того, качество поиска зависит от самого кодового агента. Авторы не уточняют, смогут ли открытые альтернативы дать такой же результат.
Главный вывод работы в том, что роль исследователя смещается. Люди больше не обязаны придумывать сами правила управления вычислениями. Вместо этого они задают среду поиска, а нужная стратегия возникает как код, который языковая модель пишет и дорабатывает.
В материале также напоминают, что ещё в 2024 году исследователи Hugging Face показывали: небольшие языковые модели могут приближаться по качеству к более крупным за счёт умного масштабирования вычислений во время вывода, хотя тогда стратегии поиска создавали вручную. Недавно Meta и её партнёры также представили hyperagents — ИИ-системы, которые оптимизируют собственный процесс улучшения.
Источник: The Decoder
*Организация Meta (владелец Facebook и Instagram) признана экстремистской организацией и ее деятельность запрещена на территории России.
