Новое исследование университета штата Аризона ставит под вопрос, могут ли большие языковые модели по-настоящему “думать” как человек. По мнению авторов, их способность к рассуждению на самом деле — лишь повторение изученных шаблонов, которое быстро ломается при встрече с непривычными данными.
Дискуссия касается метода chain-of-thought (CoT), когда модели разбивают сложные задачи на логические шаги. Такой подход помогает моделям лучше справляться с задачами на рассуждение, математику и головоломки. Это породило мнение, что языковые модели могут развивать человеческое мышление при увеличении вычислительных ресурсов.
Исследователи утверждают, что CoT — это “хрупкое миражное рассуждение”. Оно работает только если тестовые данные похожи на обучающие. Даже небольшие отличия в задании вызывают ошибки.
Для проверки CoT команда создала платформу DataAlchemy и обучила с нуля языковую модель на простых задачах с буквами, где каждую букву сдвигают на заданное число позиций или переставляют буквы в слове. Например, A сдвигается на 13 позиций и превращается в N, а APPLE становится EAPPL.
Когда модель обучили одному правилу, а тестировали на другом — она быстро ошибалась, просто воспроизводя выученные шаблоны. Производительность резко падала, если изменялась длина слова или формат ввода. Даже незначительный “шум” во входных данных полностью сбивал модель с правильного рассуждения.
Авторы подчеркивают: «LLM — не логические мыслители, а искусные симуляторы рассуждающих текстов».
Исследователи предостерегают: не стоит считать результаты CoT настоящим рассуждением, особенно в ответственных задачах. Модели могут выдавать убедительные, но ошибочные ответы — “гладкую чепуху”, что несет реальные риски.
Пример иллюзии логичности: модель Gemini сперва правильно вычислила, что 1776 год (год основания США) — високосный, а затем тут же противоречит себе и заявляет, что этот год обычный. Ответ звучит правдоподобно, но логика нарушена.
Главный автор Чэншуай Чжао сообщил о статье в X и выложил код с данными на GitHub. Препринт доступен на Hugging Face.
Эти данные подтверждают и другие работы. В широко обсуждаемой статье Apple “The Illusion of Thinking” говорится, что языковые модели оперируют поверхностными совпадениями, а не логикой или структурным анализом. С критикой этой точки зрения не все согласны: некоторые считают, что использование кода и внешних инструментов показывает более сложное поведение моделей.
Исследование Университета Цинхуа и Шанхайского транспортного университета показало, что методы с проверяемым вознаграждением (RLVR) повышают точность первого решения, но не учат искать новые способы рассуждения, а закрепляют привычные шаблоны.
Команда Нью-Йоркского университета проверила следование языковых моделей формальным правилам грамматики. При усложнении задач даже модели для рассуждения ошибались, часто сокращая рассуждения до минимума. Авторы отмечают: чтобы справляться с такими задачами, языковым моделям нужны либо намного больше вычислительных ресурсов, либо другие подходы к поиску решения.
