Крупное исследование показало, что обучение, которое превращает сырые языковые модели в удобных чат-ботов, снижает их способность имитировать поведение людей. Авторы отмечают, что с каждым новым поколением моделей этот разрыв растёт.
Языковые модели всё чаще используют как замену людям в экспериментах: для прогноза реакции на меры политики, симуляции клинического обучения психиатров и моделирования того, как учатся студенты.
Международный консорциум исследователей, в который вошли учёные из Helmholtz Munich, пришёл к выводу, что этапы дополнительного обучения делают модели полезнее как ассистентов, но хуже как инструмент для моделирования человеческого поведения.
Работа основана на новом наборе данных Psych-201. В него вошли стенограммы поведенческих экспериментов с участием около 208 тысяч человек и примерно 26 миллионов отдельных ответов. По словам авторов, это в несколько раз больше предыдущих наборов такого типа.
Каждая запись включает полный ход участия человека в эксперименте и метаданные: возраст, гражданство, ответы на анкеты и другие характеристики. Набор собрали в рамках открытого научного сотрудничества с участием исследователей более чем из 35 организаций.
Авторы сравнили модели семейств Qwen3, Llama3 и OLMo 3, проверив как базовые версии, так и варианты после дополнительного обучения. Базовые модели обучаются только на задаче предсказания следующего слова в тексте.
Дальнейшее обучение создаёт версии для следования инструкциям, пошаговых рассуждений и работы с изображениями. Основной метрикой была точность прогноза реальных ответов участников экспериментов.
Результат повторился для всех семейств и размеров моделей: базовые версии лучше предсказывают поведение людей, чем их дообученные потомки. Самое заметное ухудшение исследователи зафиксировали у reasoning-моделей, затем у моделей с instruction-tuning и у мультимодальных версий.
Авторы проверили возможное объяснение, что модели-ассистенты просто отвечают более однотипно и потому хуже отражают естественный разброс человеческих реакций. Для этого они провели отдельный анализ точности на части задач с дискретными вариантами ответов. Дообученные модели и там показали более слабый результат, поэтому одной повышенной предсказуемостью объяснить эффект нельзя.
При этом базовые модели от Qwen2 к Qwen2.5 и Qwen3 постепенно улучшают прогноз поведения человека. Но разрыв между ними и производными assistant-моделями со временем становится больше. Авторы делают вывод, что нынешние методы post-training усиливают отклонение от человеческих реакций.
Самое сильное искажение проявилось в языковых задачах и рассуждениях. Исследователи объясняют это тем, что базовые модели изначально лучше согласованы с человеческим языком, а методы вроде обучения с подкреплением на основе человеческой обратной связи смещают их к более удобным или нормативно правильным ответам.
Похожий эффект наблюдается и в задачах на рассуждение. Решения людей часто зависят от эвристик и систематических ошибок, которые базовые модели, по данным работы, частично усваивают. Последующее обучение на логически правильные ответы убирает именно те особенности, которые важны для поведенческой симуляции.
Вторая часть исследования касалась популярного приёма, когда модели дают данные о конкретном участнике, чтобы задать ей роль. В этой работе перед экспериментом в промпт добавляли демографические сведения: возраст, пол, гражданство, образование, клинические диагнозы и результаты анкет.
Эффект оказался почти нулевым. Это сохранилось даже при анализе экспериментов по возрастной психологии, где различия по возрасту должны были бы быть особенно важны. Авторы отмечают, что прошлые работы показывали правдоподобные распределения ответов на уровне группы, но новое исследование ставит под вопрос прогноз поведения конкретного человека.
Авторы связывают результаты с уже известной проблемой: дополнительное обучение под частные цели может ухудшать способности, полученные на этапе предобучения. Чтобы проверить, является ли это жёстким ограничением, они изучили модель Centaur, специально дообученную на части поведенческих данных.
Centaur показала заметно более высокое совпадение с человеческим поведением даже на новых задачах, которых не было в обучении. Это означает, что дополнительное обучение может быть полезным, если его цель — моделирование поведения, а не логическая корректность ответов.
Практический вывод для исследователей такой: готовые assistant-модели, которые проще всего взять в работу, не всегда лучший выбор для поведенческих симуляций. Авторы рекомендуют использовать либо сырые базовые модели, либо версии, специально обученные для таких задач. Код и данные опубликованы на Hugging Face и GitHub.
В материале также приводится контекст из других работ. Одно из недавних исследований девяти open-source моделей показало, что оптимизация под более «человечное» звучание ответов ухудшает фактическую точность, а классификатор отличал ответы ИИ с точностью от 70 до 80 процентов. Приём с заданием персоны там тоже сработал слабее ожидаемого.
Другая работа показала, что модели почти не умеют по команде изображать слабых или сильных учеников: различия в результатах были меньше одного процентного пункта. Ещё один анализ более чем 170 тысяч цепочек рассуждений выявил, что reasoning-модели думают иначе, чем люди, и часто переходят в последовательный «автопилот».
Источник: The Decoder.
