Фонд ARC Prize Foundation выпустил ARC-AGI-3 — новый бенчмарк для оценки ИИ в интерактивных пошаговых игровых средах. В отличие от прошлых версий, здесь моделям нужно самим исследовать среду, выдвигать гипотезы, понимать цель и строить план действий без инструкций и подсказок.
Согласно техническому отчёту, все 135 сред люди прошли без предварительной подготовки и без объяснения правил. Ни одна из передовых моделей не преодолела отметку в 1%: Gemini 3.1 Pro Preview набрала 0,37%, GPT 5.4 — 0,26%, Opus 4.6 — 0,25%, а Grok-4.20 — 0,00%.
Авторы отдельно уточняют, что люди и машины оцениваются не по одинаковой шкале. В ARC-AGI-3 используется метрика RHAE (Relative Human Action Efficiency), которая учитывает не просто факт решения задачи, а число действий модели по сравнению с человеком.
В зачёт идут только действия, которые меняют состояние игры. Внутренние шаги вычислений и цепочки рассуждений не учитываются. Поэтому результаты ARC-AGI-1 и ARC-AGI-2 нельзя напрямую сравнивать с ARC-AGI-3.
Базовый человеческий результат рассчитывается по второму лучшему игроку из десяти участников, которые впервые видят конкретную среду. В документации сказано, что лучший результат намеренно исключают, чтобы убрать выбросы и сохранить реалистичную точку отсчёта для компетентной игры человека.
Эффективность на каждом уровне считается по формуле (действия человека / действия ИИ)^2. Если человеку нужно 10 действий, а ИИ — 100, модель получает не 10%, а 1%. Такой штраф снижает ценность перебора. За результат лучше человеческого бонуса тоже нет: оценка на уровне ограничена 1,0.
Более поздние уровни имеют больший вес, так как требуют более глубокого понимания задачи. Кроме того, из-за затрат команда планирует ограничить максимальное число попыток для агентов на уровне пятикратного числа попыток человека.
Официальный лидерборд тестирует модели только через API и без специальных внешних надстроек, используя одинаковый системный промпт для всех участников. В фонде объясняют это тем, что бенчмарк должен измерять общий интеллект самой модели, а не вклад людей, которые собрали специализированную систему под конкретный тест.
Вместе с Duke University фонд провёл отдельные испытания и увидел резко двугорбое распределение результатов. Opus 4.6 набрала 97,1% в знакомой среде со специально созданной надстройкой, но получила 0% в незнакомой. Это, по мнению авторов, показывает, что проблема не в формате API и не в восприятии игровой среды, а в том, что такие стратегии не переносятся на новые задачи.
Франсуа Шолле написал в X, что настоящий AGI не должен нуждаться в ручной настройке под конкретную задачу, если обычные люди справляются без помощи. Он также возражает против идеи, что низкие результаты объясняются лишь отсутствием надстроек и простым промптом.
По словам Шолле, буква G в AGI означает general, то есть общий. Это, как он утверждает, не про подготовку под большой набор задач, а про способность самостоятельно решать любую новую задачу. Если люди делают это без инструментов и инструкций, то AGI, по его мнению, не должен требовать специального сопровождения и вручную написанных указаний.
При этом у ARC Prize есть отдельный лидерборд сообщества для результатов с внешними надстройками, где участники сами публикуют свои оценки. Фонд прямо предупреждает, что такие результаты не стоит трактовать как признак прогресса к AGI. Однако команда ожидает, что лучшие идеи из таких экспериментов со временем будут встроены в сами модели — как это произошло с chain-of-thought prompting, который сначала был внешним приёмом, а позже стал частью OpenAI o1.
Предыдущие бенчмарки ARC уже отмечали важные сдвиги в развитии ИИ. ARC-AGI-1, как отмечает The Decoder, одним из первых точно зафиксировал прорыв рассуждающих систем уровня OpenAI o3 в момент, когда другие тесты уже были насыщены. ARC-AGI-2 затем показал быстрый рост современных reasoning-моделей и распространение внешних надстроек, которые позже появились в рабочих инструментах для программирования, включая Claude Code и Codex.
Сейчас оба прошлых теста фактически насыщены, во многом именно из-за таких подходов. ARC-AGI-3 должен измерять следующий открытый разрыв — агентный интеллект, то есть способность работать в полностью незнакомой среде без специальной подготовки.
Фонд также открыл для публичной игры 25 сред и запустил конкурс ARC Prize 2026 на Kaggle с призовым фондом $2 млн. Записи последних тестов моделей доступны на сайте ARC Prize.
Источник: The Decoder, технический отчёт ARC Prize Foundation.
