Исследователи из Google, Чикагского университета и Института Санта-Фе описали, как модели рассуждений вроде Deepseek-R1 и QwQ-32B внутренне имитируют «дискуссию» между разными точками зрения. Это, по их данным, помогает таким системам заметно опережать обычные языковые модели в сложных задачах.
Авторы называют этот механизм «сообществом мыслей»: модель генерирует несколько внутренних «голосов» с разными стилями и опытом, которые спорят и исправляют друг друга в процессе рассуждений.
Команда проанализировала более 8 000 задач на рассуждение и сравнила поведение моделей рассуждений с инструкционно дообученными моделями. Deepseek-R1 по сравнению с Deepseek-V3 чаще формировал цепочки «вопрос–ответ» и регулярно менял точку зрения. QwQ-32B показывал гораздо больше явных конфликтов между внутренними позициями, чем Qwen-2.5-32B.
Для анализа использовали подход LLM-as-judge: модель Gemini 2.5 Pro классифицировала цепочки рассуждений, а согласие с оценками людей было высоким.
В статье приводится пример задачи по химии. На многоэтапном синтезе Дильса–Альдера Deepseek-R1 несколько раз менял позицию и спорил «сам с собой». В какой-то момент модель написала: «Но здесь это цикло-гекса-1,3-диен, а не бензол», по ходу исправив собственную ошибку. Deepseek-V3, напротив, прошёл задачу в формате «монолога» без самопроверки и выдал неверный ответ.
Исследователи также попытались описать неявные роли внутри таких рассуждений. Они оценили «личностное разнообразие» внутренних голосов по модели Big Five (экстраверсия, доброжелательность, добросовестность, нейротизм, открытость опыту) и обнаружили, что Deepseek-R1 и QwQ-32B заметно разнообразнее инструкционно дообученных моделей.
При этом по шкале добросовестности разнообразие оказалось ниже: все внутренние голоса вели себя дисциплинированно и сосредоточенно. Авторы связывают это с работами о командной работе: изменчивость по социальным чертам (экстраверсия, нейротизм) помогает группе, а сильные отличия по чертам, связанным с выполнением задач, вроде добросовестности, могут мешать.
В задаче по творческому письму LLM-as-judge выделила в цепочке рассуждений Deepseek-R1 семь разных внутренних ролей. Среди них — «генератор идей» с высокой открытостью опыту и «проверяющий точность формулировок» с низкой доброжелательностью, который возражал: «Но это добавляет “глубоко укоренившийся”, чего не было в оригинале».
Чтобы проверить, действительно ли диалогоподобные шаблоны ведут к лучшим ответам, команда обратилась к техникам из механистической интерпретируемости, которые позволяют смотреть на внутренние признаки модели. В Deepseek-R1-Llama-8B они выделили признак, связанный с типичными сигналами живого разговора — удивление, осознание, подтверждение, как при смене говорящего.
Когда исследователи искусственно усиливали этот признак во время генерации, точность на задаче по математике выросла с 27,1 % до 54,8 %. Модель стала больше похожа на собеседника: чаще проверяла промежуточные шаги и исправляла ошибки.
Дополнительно провели контролируемые эксперименты с обучением с подкреплением. Базовые модели при поощрении за точность самостоятельно усиливали диалогоподобные шаблоны поведения, без специального обучения на диалоговых данных.
Эффект был сильнее для моделей, которые уже обучались на задачах с диалоговыми цепочками рассуждений. Они быстрее достигали высокой точности, чем модели с линейными «монологовыми» цепочками. В Qwen-2.5-3B варианты, обученные на диалогоподобных рассуждениях, вышли примерно на 38 % точности после 40 шагов обучения, тогда как модели с монологовой структурой остановились на 28 %.
Диалоговая структура рассуждений переносилась и на другие задачи. Модели, обученные на математике с имитацией обсуждения между несколькими позициями, быстрее учились обнаруживать вредный или токсичный контент, чем модели без такой структуры.
Авторы проводят параллели с исследованиями коллективного интеллекта у людей. Теория «Энигма разума» Мерсье и Спербера рассматривает человеческое мышление как социальный процесс. Концепция Бахтина о «диалогическом Я» описывает думание как внутренний диалог разных перспектив. В работе предлагается, что модели рассуждений формируют вычислительный аналог коллективного интеллекта, где разнообразие точек зрения повышает качество решений при чёткой структуре взаимодействия.
При этом исследователи подчёркивают, что не делают вывода о том, отражают ли наблюдаемые цепочки рассуждений общение симулируемых групп людей или работу одной модели, имитирующей поведение нескольких агентов. Однако сходство с исследованиями успешных команд даёт основания считать, что принципы групповой динамики могут помочь в улучшении рассуждений языковых моделей.
Авторы напоминают и о критике моделей рассуждений. Летом 2025 года специалисты Apple заявили, что при росте сложности задач модели вроде Deepseek-R1 «ломаются» и фактически начинают рассуждать меньше. Они назвали это «фундаментальным пределом масштабирования». Другие работы пришли к похожим выводам, хотя такие результаты остаются предметом споров.
Источник: материалы исследования, публикации исследовательских групп Google, Чикагского университета, Института Санта-Фе и Apple.
