Исследователь ИИ Франсуа Шоле и его команда выпустили ARC-AGI-3 — новую версию теста для оценки способности искусственного интеллекта справляться с неизвестными задачами. По словам Шоле, этот бенчмарк помогает понять, может ли ИИ самостоятельно обучаться в непривычных ситуациях, не используя предварительные знания или подсказки. В заданиях используются только базовые когнитивные умения, такие как постоянство объектов и причинно-следственные связи, без языка, фактов и культурных символов.
В версии “Developer Preview” доступны три интерактивные игры. Люди легко проходят эти испытания, но ИИ-модели пока не смогли обойти их — за исключением одного анонимного участника. Исследователь OpenAI Чжицин Сун написал в X, что новый агент ChatGPT может решать первую игру, но неизвестно, кто именно возглавляет таблицу лидеров.
Главное нововведение ARC-AGI-3 — интерактивный формат. Вместо обычных задач участникам предлагаются мини-игры в виде мира с сеткой, где агент должен выяснить правила и цели самостоятельно, учась на своих ошибках. Разработчики говорят, что это приближает процесс к человеческому обучению: через исследования, планирование и адаптацию. “Пока разрыв сохраняется, у нас нет искусственного общего интеллекта”, — пишут авторы на arcprize.org.
Компания HuggingFace спонсирует конкурс с призом $10 000, чтобы участники могли создать лучшего агента на базе доступного API за четыре недели. К 2026 году планируется добавить около ста различных игр, для публичных и закрытых тестов. Больше информации и условия участия доступны на arcprize.org.
