Французский стартап Foaster.ai создал новый тест, чтобы проверить, как искусственный интеллект справляется с социальными взаимодействиями. В ходе 210 игр в “Мафию” (Werewolf) модель GPT-5 заняла первое место, показав выдающиеся способности к манипуляции и стратегии.
Игра “Мафия” выбрана потому, что она требует не только фактов и математики, но и умения логически рассуждать, блефовать, действовать скрытно, а также быстро приспосабливаться к неожиданным ситуациям – на этом стандартные тесты ИИ часто «проваливаются». Новый бенчмарк оценивает способности языковых моделей реагировать в сложных, интерактивных условиях. Главный акцент сделан на социальном интеллекте.
Каждая партия проходила по единой схеме: шесть моделей ИИ получали разные роли – двое были “мафией”, четверо – жителями с особенными навыками (например, провидец или ведьма). Перед началом выбирали мэра. В течение трёх игровых дней ИИ вели обсуждения, а по ночам тайно анализировали, атаковали или защищались. Каждая пара соперников играла по 10 партий в каждой роли. Оценка построена на рейтинге Elo.
GPT-5 набрал 1 492 балла Elo и выиграл 96,7% игр. Будучи “мафией”, модель уверенно манипулировала другими – 93% результат два дня подряд. Ни одной другой модели не удалось поддерживать такой высокий уровень обмана до конца игры.
У других моделей показатели резко ухудшались. Например, у Google Gemini 2.5 Pro доля успешного обмана снизилась с 60 до 44%, а у Kimi-K2 с 53 до 30%. Исследователи объяснили это тем, что плотность информации увеличивается по ходу игры, затрудняя маскировку.
В роли мирного жителя Gemini 2.5 Pro оказался лучшим, умело защищаясь и аргументируя. В общем зачёте он стал вторым с 1 261 баллом и долей побед 63,3%. Далее идут Gemini 2.5 Flash (1 188), Qwen3-235B-Instruct от Alibaba (1 176), GPT-5-mini (1 173) и Kimi-K2-Instruct (1 130). Худшим стал GPT-oss-120B – всего 980 баллов и 15% побед.
В Foaster.ai отметили, что у каждой модели сформировался собственный стиль игры. GPT-5 выступал как “спокойный и невозмутимый архитектор”, действуя с позиции контроля и авторитета. GPT-oss-120B был настороженным и защищающимся, а Kimi-K2 выбирал рискованные шаги — например, однажды выдал себя за ведьму, из-за чего настоящая ведьма была выведена из игры.
Исследователи заметили, что в партиях иногда возникали спонтанные нестандартные ходы. Например, один мафиози сдал союзника ради доверия. Такие стратегии не были заданы напрямую в программном коде, а возникли в процессе.
Результаты показали, что мощные ИИ делают лучшие доводы, действуют грамотно и проявляют больший социальный “разум.” Однако рост был неравномерным. У слабых моделей игра получалась нестабильной, а у сильных появлялась стратегия.
Разметка на “логическое мышление” не гарантировала сильную игру. Так, модель o3 от OpenAI хорошо реагирует на новую информацию и следует правилам, но более простая o4-mini оказалась негибкой, её поведение не улучшалось даже при удачных отдельных аргументах, отмечают исследователи.
Foaster.ai планирует использовать этот тест для развития исследований в области социального интеллекта ИИ. Команда видит применение теста в системах с несколькими агентами, переговорах и коллективных решениях. Готовится расширенная версия бенчмарка.
Ранее исследования показали, что эмоциональные подсказки улучшают работу LLM, а старые модели OpenAI превосходят людей по тестам на эмпатию. Новый тест подтверждает — ИИ становится всё более способным к социальным взаимодействиям, что несёт новые возможности и риски.
