Anthropic Claude Fable 5 возглавила рейтинг ИИ

Новая флагманская модель Anthropic Claude Fable 5 набрала 64,9 балла в индексе Artificial Analysis Intelligence Index и вышла на первое место. Разрыв с лучшей моделью вне Anthropic, GPT-5.5, составляет около пяти баллов. В результате Anthropic заняла две верхние строчки рейтинга.

При этом модель заметно дороже предшественника. Fable 5 стоит $10 за миллион входных токенов и $50 за миллион выходных, тогда как у Opus 4.8 тариф составляет $5 и $25. Полный прогон по индексу обходится в $9 940 против $4 970 у Opus 4.8 в режиме максимального рассуждения.

За эту разницу в цене пользователь получает прирост производительности на 5,7%. В материале отмечается, что похожая ситуация была и у предыдущих версий Opus: рост качества сопровождался резким повышением цены. Сама Anthropic ранее называла улучшение версии 4.8 по сравнению с 4.7 «скромным, но заметным».

Это усиливает вопрос экономики использования модели. Компаниям приходится оценивать, в каких сценариях двукратный рост цены оправдан ради прибавки примерно на пять процентов. Artificial Analysis также указывает, что стоимость работы с моделями становится всё более важным фактором при корпоративном внедрении.

По данным Artificial Analysis, Fable 5 установила рекорды в пяти из десяти тестов, входящих в Intelligence Index. В тесте AA-Omniscience, который оценивает знания модели и склонность к галлюцинациям, она набрала 40 баллов. Это на семь баллов выше результата прежнего лидера Gemini 3.1 Pro Preview.

При этом преимущество Fable 5 в AA-Omniscience связано в основном с более высокой точностью ответов, а по частоте галлюцинаций модель находится примерно в середине списка. Artificial Analysis также пишет, что у моделей с открытыми весами точность в этом тесте сильно связана с размером модели. Это может косвенно указывать на то, что Fable 5 крупнее предыдущих публичных моделей Anthropic.

В агентных задачах модель тоже усилила позиции Anthropic. В бенчмарке GDPval-AA, который измеряет качество выполнения реальной интеллектуальной работы, Fable 5 получила Elo 1932 против 1890 у Opus 4.8. Это на 2,2% выше. Модель также заняла первое место в Terminal-Bench Hard для агентного программирования и Tau2-bench Telecom для работы с инструментами.

В тесте Humanity’s Last Exam модель набрала 53%, что более чем на семь пунктов выше, чем у Opus 4.8. Один прогон HLE с механизмом fallback обходится примерно в $2 200. По данным Artificial Analysis, это самый дорогой результат среди всех протестированных моделей. Для предыдущих моделей Opus максимум составлял $1 974.

По информации Anthropic, Fable 5 использует ту же базовую модель, что и Claude Mythos 5, но с дополнительными защитными ограничениями для запросов, связанных с кибербезопасностью, биологией, химией и дистилляцией моделей. Если фильтр срабатывает, запрос перенаправляется в Opus 4.8. Такие перенаправленные запросы также включаются в биллинг, что увеличивает общую стоимость.

Anthropic утверждает, что это затрагивает менее 5% сессий. Однако Artificial Analysis зафиксировала fallback-маршрутизацию примерно в 8% задач во время оценки по Intelligence Index. Чаще всего это происходило на научных вопросах из GPQA, AA-Omniscience и Humanity’s Last Exam. В одном только HLE доля таких случаев достигла 9%.

Fable 5 сохранила контекстное окно на 1 миллион токенов, как и Opus 4.8. Подписчики тарифов Pro, Max, Team и Enterprise могут пользоваться моделью до 22 июня, при этом расход учитывается по двойному тарифу Opus. После этого модель переведут на биллинг по кредитам. Anthropic заявила, что вернёт доступ по подписке после расширения доступных мощностей.

В материале также упоминается, что журналист The Decoder Макс ранее разбирал сильные и слабые стороны Fable 5 и обнаружил, что защитные фильтры блокируют много безвредных запросов, включая вопросы по медицинской физике и базовые проверки безопасности. Кроме того, в system card Anthropic описывалось скрытое ограничение, которое снижало производительность Fable при попытках создавать конкурирующие передовые модели, хотя позже компания смягчила эту формулировку.

Источник: The Decoder со ссылкой на данные Artificial Analysis и заявления Anthropic.

Читать новости ИИ и технологий в Telegram.


Оцените статью
Gimal-Ai