Согласно данным ARC Prize, GPT-5 (High) показал результат 9,9% в тесте ARC-AGI-2, который оценивает навыки рассуждения, при стоимости $0,73 за задачу.
Grok 4 (Thinking) превзошёл GPT-5 на ARC-AGI-2 с результатом около 16%, однако выполнение задачи стоит гораздо дороже — от $2 до $4. В тестах ARC-AGI важны именно навыки логики, а не запоминания, модели сравнивают по точности и стоимости решения.
В менее сложном ARC-AGI-1 Grok 4 снова опередил, набрав около 68%. GPT-5 показал 65,7%. Стоимость работы Grok 4 составила примерно $1, а GPT-5 дал почти такую же точность за $0,51. Таким образом, пока GPT-5 дешевле при схожих результатах, но xAI может сократить разницу, изменив цену.
Есть и более доступные версии. GPT-5 Mini набрал 54,3% в AGI-1 ($0,12) и 4,4% в AGI-2 ($0,20). GPT-5 Nano на тех же тестах показал 16,5% ($0,03) и 2,5% ($0,03).
По информации ARC Prize, уже идут предварительные тесты для нового, пока неофициального ARC-AGI-3, где ИИ должен решать задачи методом проб и ошибок в интерактивном режиме. Люди справляются легко, но ИИ-моделям всё ещё сложно проходить визуальные головоломки.
Важно: высокий результат Grok 4 здесь не гарантирует лидерство по всем критериям — только на этом конкретном тесте, если компания xAI соблюдала правила.
OpenAI не упомянула ARC Prize на презентации GPT-5, хотя раньше это считалось важным. В тесте ARC-AGI-1 модель o3-preview, выпущенная в декабре 2024 года, всё ещё имеет лучший показатель (почти 80%), хотя работать с ней дороже, чем с конкурентами.
Издание The Information сообщило, что OpenAI пришлось серьёзно уменьшить возможности o3-preview для финальной версии чата, но компания не дала комментариев. ARC Prize подтвердила, что в конце апреля публично доступная o3-модель показала скромные результаты.
