Исследователи из Университета штата Аризона считают, что нельзя воспринимать промежуточные шаги языковых моделей как признаки человеческих мыслей. Это опасное заблуждение может привести к неправильным выводам в исследованиях и применении ИИ.
Авторы утверждают, что “цепочки мыслей” — это не доказательство настоящего рассуждения, а просто статистически сгенерированный текст без смысла и алгоритмического значения. Руководитель группы, Суббарао Камбхампати, называет попытки «очеловечивания» этих токенов разновидностью “карго-культа”. По его словам, такие промежуточные шаги дают ложное чувство прозрачности и контроля над моделью.
Многие языковые модели, включая Deepseek R1 и OpenAI o-series, разбивают задачи на последовательности видимых промежуточных этапов. В чатах пользователи видят этот процесс и часто принимают его за рассуждение.
Авторы статьи утверждают, что промежуточные токены — это просто текстовые фрагменты, не отражающие процесс мышления. Нет доказательств, что их анализ помогает понять работу моделей или повышает их прозрачность либо предсказуемость.
Подобные заблуждения, по мнению авторов, вредят развитию ИИ. Некоторые исследователи пытались сделать цепочки более понятными или использовать их свойства для оценки сложности задач, хотя подтверждений этому нет.
В опытах авторов модели обучались с помощью абсурдных или даже заведомо неправильных промежуточных шагов — такие модели иногда давали лучшие результаты, чем те, в которых промежуточные цепочки были логически выстроены. Другие исследования показали отсутствие связи между правильностью этих шагов и финальным ответом.
Например, модель Deepseek R1-Zero, в которой промежуточные шаги были на смеси английского и китайского, показала лучшие результаты, чем версия, ориентированная на читабельность для человека. При этом обучение с подкреплением позволяет модели генерировать любые промежуточные текстовые токены — важно только, чтобы итоговый ответ был верен.
Исследователи обращают внимание, что “очеловечивание” вроде вставки слов типа “ага” или “ммм” зачастую принимается за признак осмысленности, хотя это просто вероятные продолжения текста. Камбхампати отмечает: «Можно найти примеры, когда шаги модели полны ошибок, но финальный результат правильный».
По словам авторов, попытки увидеть смысл в наборе случайных фрагментов напоминают интерпретацию теста Роршаха — наблюдатели проецируют свои интерпретации на бессмысленные паттерны. На практике полезность таких текстовых цепочек почти никак не связана с точностью ответа.
Даже если промежуточные шаги модели полны бессмыслицы, ответ все равно может быть правильным, ведь эти шаги — просто дополнения к промпту. Модели часто неэффективно меняют стратегию решения, особенно на сложных задачах. Это говорит о том, что наличие промежуточных шагов влияет скорее на структуру вывода, чем на качество рассуждения.
Авторы подчеркивают: современные модели не выстраивают рассуждение шаг за шагом, они просто лучше используют сигналы обратной связи при обучении. По сути, то, что выглядит как рассуждение, — побочный продукт оптимизации.
Исследователи советуют рассматривать промежуточные токены как инструмент для настройки промптов, а не как окна в “мышление” ИИ. Главная цель — повысить точность итоговых ответов, а не имитировать человеческий процесс. Они предлагают использовать отдельные модели для генерации промежуточных шагов, даже если эти шаги не имеют смысла, если это помогает получать правильный результат.
