Модель Gemini 3.1 Pro Preview от Google возглавила индекс Artificial Analysis Intelligence Index, опередив Claude Opus 4.6 от Anthropic на четыре пункта при менее чем двукратной разнице в стоимости. Модель заняла первое место в шести из десяти категорий, включая агентное программирование, работу с знаниями, научное рассуждение и физику.
По данным индекса, уровень галлюцинаций у Gemini 3.1 Pro снизился на 38 процентных пунктов по сравнению с Gemini 3 Pro, которая показывала слабые результаты в этой части. Artificial Analysis Intelligence Index объединяет десять тестов в один итоговый показатель.
Полный прогон индекса для Gemini обошёлся в 892 доллара против 2 304 долларов для GPT-5.2 и 2 486 долларов для Claude Opus 4.6. При этом Gemini использовала 57 млн токенов, тогда как GPT-5.2 — 130 млн. Открытые модели, например GLM-5, ещё дешевле: 547 долларов за прогон.
Однако в практических агентных задачах Gemini 3.1 Pro уступает Claude Sonnet 4.6, Opus 4.6 и GPT-5.2. По этим тестам она показывает более слабые результаты, чем конкуренты.
Авторы индекса подчёркивают, что бенчмарки дают лишь ограничённое представление о возможностях моделей. По их внутреннему тесту на фактчекинг Gemini 3.1 Pro заметно проигрывает Opus 4.6 и GPT-5.2, подтверждая около четверти проверяемых утверждений. Это даже ниже показателей Gemini 3 Pro, которая уже демонстрировала слабость в этой задаче.
Источник: Artificial Analysis Intelligence Index, The Decoder.
