Бенчмарк AA-Briefcase от Artificial Analysis показал, что даже лучшие ИИ-модели пока слабо справляются с реалистичной интеллектуальной работой. В тесте полностью пройти все критерии удалось лишь в 3 процентах задач.
AA-Briefcase проверяет модели на проектах, которые имитируют многонедельную офисную работу с большим числом разрозненных материалов. В набор входят тысячи исходных файлов, включая переписки в Slack, электронные письма, стенограммы встреч и крупные выгрузки данных.
Лучший результат показала модель Claude Fable 5. Она получила самый высокий уровень прохождения по оценочной шкале, но полностью выполнила все требования лишь в 3 процентах задач.
Ещё один показатель: в 31 из 91 задачи ни одна модель не смогла преодолеть порог в 50 процентов.
По данным Artificial Analysis, характер ошибок меняется по мере роста качества моделей. Более слабые системы часто не справляются с базовым выполнением: пропускают нужные файлы или выдают результат, который нельзя использовать. Более сильные модели чаще проваливаются менее заметно: закрывают очевидные требования, но упускают детали, которые можно найти только при сопоставлении данных из нескольких источников.
Авторы теста также отметили большой разброс по стоимости. Цена за одну задачу отличается более чем в 800 раз: примерно от 0,04 доллара у DeepSeek V4 Flash до более чем 31 доллара у Claude Fable 5.
Источник: The Decoder со ссылкой на Artificial Analysis.
