Исследователи из King’s College London и Оксфордского университета сравнили языковые модели OpenAI, Google и Anthropic в серии игр «дилемма заключенного». Этим хотели выявить, как разные ИИ ведут себя в стратегических ситуациях.
В тестах использовались семь турниров и более 30 000 решений моделей. Для проверки применялись классические стратегии — например, Tit-for-Tat и Grim Trigger. Модели получали всю историю игры, структуру получения баллов и вероятность завершения партии. Цель — узнать, будут ли языковые модели менять стиль в зависимости от ситуации.
Эксперименты проводились с небольшими и не самыми новыми версиями моделей: GPT-3.5-Turbo, GPT-4o-Mini, Gemini 1.5 Flash, Gemini 2.5 Flash и Claude 3 Haiku. По словам авторов, различия между ИИ были заметны, но неясно, сохранятся ли такие же особенности у более продвинутых моделей.
Каждая модель выживала в условиях высокой конкуренции, но вела себя по-своему. Google Gemini отличился гибкостью: чётко понимал контекст и менял стиль игры. Чем короче ожидалось продолжительность партии, тем чаще Gemini переходил к предательству. В самой жёсткой ситуации при вероятности завершения игры 75% после каждого хода, уровень сотрудничества Gemini падал почти до нуля — оставалось всего 2,2%.
В то же время модель OpenAI в любой ситуации продолжала сотрудничать. Именно из-за этого она часто проигрывала. Claude от Anthropic был также склонен к сотрудничеству, но проявлял «дипломатичное прощение». Даже когда его использовали, Claude 3 Haiku быстро возвращался к совместной работе и всё равно обходил GPT-4o-Mini.
Учёные оценили «стратегический отпечаток» ИИ — вероятность вернуться к сотрудничеству после предательства соперником. Gemini проявлял почти полное бессердечие: возвращался только в 3% случаев. OpenAI был гораздо мягче — уровень прощения составлял от 16 до 47%. У Claude этот показатель достигал 63%.
Все модели объясняли свои решения текстом. Анализ показал: ИИ оценивают оставшееся число раундов и стратегии соперников, а эти выводы влияют на их поступки. Gemini в 98,6% случаев ссылался на короткую партию при высокой вероятности завершения и действовал соответственно. У OpenAI упоминания о сроках влияли на стратегию гораздо меньше.
Отчёт подчёркивает разницу в «характере» моделей. OpenAI показал себя идеалистом, Gemini — прагматиком, готовым воспользоваться моментом. Claude — пример сочетания кооперации и гибкости. Когда в игре участвовали только ИИ, уровень командной работы резко рос: они понимали, где их сотрудничество будет выгодно.
Учёные считают, что эти отличия — признак самостоятельного стратегического мышления языковых моделей, а не простое повторение чужих стратегий.
