Крупное исследование показало, что развитие ИИ-агентов почти полностью сосредоточено на задачах программирования и игнорирует большую часть реального рынка труда.
Команда из Карнеги-Меллоновского университета и Стэнфорда сравнила 43 бенчмарка для агентов с 72 342 задачами и сопоставила их с рынком труда США. Для этого исследователи связали задачи бенчмарков с 1016 реальными профессиями из базы O*NET, которую ведёт правительство США и где подробно описаны виды трудовой деятельности.
Картина получилась крайне односторонней. Текущие бенчмарки по ИИ-агентам почти полностью нацелены на сферу «компьютеры и математика», где доминирует программирование, хотя на неё приходится всего 7,6 % занятости в США.
Анализ выявил несколько сильно цифровизированных направлений, которые почти не отражены в бенчмарках. Например, у управления организаций уровень цифровизации 88 %, но на такие задачи приходится только 1,4 % всех проанализированных заданий. В праве доля цифровых задач достигает 70 %, но в бенчмарках это лишь 0,3 %, а в архитектуре и инженерии при цифровизации в 71 % представлено всего 0,7 % заданий.
По оценке авторов, ИИ-агенты могли бы в ближайшей перспективе дать серьёзный прирост производительности именно в таких сферах. Однако там возникают специфические технические вызовы: цели часто сформулированы не строго, а результаты можно проверить только на длинных отрезках времени.
Исследование также указывает на экономический дисбаланс. При анализе распределения капитала, то есть совокупных доходов по профессиональным направлениям, оказалось, что самые «дорогие» сферы — управление и право — почти не представлены в бенчмарках. При этом низкооплачиваемые и трудоёмкие виды деятельности, такие как персональные услуги и уход за людьми, также практически отсутствуют.
Такой перекос проявляется и на уровне навыков. Исследователи предложили таксономию, где профессиональные навыки делятся на четыре категории: получение информации, мыслительные процессы, взаимодействие с другими и практический результат работы. В реальной экономике потребность в этих навыках распределена достаточно равномерно.
В бенчмарках для агентов ситуация иная: они в основном сосредоточены на двух категориях — «получение информации» и «работа с компьютерами». Вместе они соответствуют навыкам, которые задействованы менее чем в 5 % занятости в США. Навыки взаимодействия с людьми, которые важны для огромного числа профессий, в бенчмарках почти не отражены.
Авторы объясняют этот перекос методологическими удобствами. Больше всего внимания получают направления, где легко сформулировать инструкции и проверить результат. Это ускорило прогресс в узких задачах, но, по их мнению, создаёт риск, что развитие ИИ-агентов уйдёт в сторону от тех сфер, где социальный и экономический эффект мог бы быть максимальным.
При этом исследователи отмечают OpenAI GDPval как позитивный пример. Несмотря на небольшой размер, этот бенчмарк охватывает самое широкое множество профессиональных направлений и навыков. GDPval 2025 специально создавался для оценки влияния ИИ-агентов на работу специалистов в разных сферах знаний.
Чтобы оценить, насколько автономно агенты действуют в покрываемых ими видах деятельности, команда ввела количественную метрику автономии. Она определяет её как максимальную сложность задачи при заданном уровне успешности, где сложность измеряется числом шагов в иерархическом рабочем процессе.
Даже в разработке ПО, которая сильнее всего представлена в бенчмарках, успешность агентов резко падает по мере роста сложности задач. По данным работы, агенты лучше справляются с самостоятельными видами деятельности — мыслительными задачами и созданием рабочих продуктов, но испытывают трудности с поиском и получением информации и с координацией с другими участниками, даже если задачи относительно простые.
Немногочисленные бенчмарки, позволяющие контролируемые сравнения (например, SWE-bench), показывают, что фреймворк OpenHands опережает SWE-agent, а Claude — GPT, особенно на задачах средней сложности. Однако авторы предупреждают, что эти тенденции могут не сохраняться при другом уровне сложности и призывают шире публиковать траектории работы агентов для более систематичных сравнений.
На основе результатов исследования команда предлагает три принципа для будущих бенчмарков. Во-первых, новые наборы задач должны целенаправленно покрывать недопредставленные, но сильно цифровизированные сферы, такие как управление и право, либо стремиться к широкому охвату направлений и навыков.
Во-вторых, бенчмарки нужно делать ближе к реальной работе и более сложными. Анализ показал, что многие автоматически сгенерированные наборы задач описывают упрощённые фрагменты труда. На этом фоне задания, созданные людьми (например, в GDPval или TheAgentCompany), охватывают широкий набор сфер и навыков. Если автоматическая генерация необходима для масштабирования, то, по мнению авторов, структура таких задач должна отражать реальные сочетания направлений и навыков.
В-третьих, исследователи выступают за более детализированную оценку. Простого измерения факта завершения задачи недостаточно, так как непонятно, на каком шаге агент допустил сбой. Вместо этого предлагается автоматически строить рабочие процессы по примерам работы людей и создавать промежуточные контрольные точки, чтобы получить более детальную картину качества работы агента.
В статье представлен методический каркас и вспомогательные ресурсы, которые помогут авторам бенчмарков выявлять пробелы в покрытии видов работы, разработчикам агентов — находить направления для улучшений, а пользователям — выбирать нужный уровень автономии агента под свои задачи.
Выводы исследования согласуются с тем, как ИИ-агенты применяются на практике. Недавний анализ Anthropic, основанный на миллионах взаимодействий людей с агентами, показал, что на разработку ПО приходится почти 50 % всех вызовов инструментов агентов через публичный API, тогда как другие отрасли набирают лишь несколько процентов каждая. Anthropic описывает текущий этап как «раннюю стадию внедрения агентов».
Похожий результат дала работа конца 2025 года Университета Калифорнии в Беркли и партнёров: в действительности компании используют ИИ-агентов в основном как простые, жёстко контролируемые инструменты с небольшим числом автономных шагов. Главным препятствием там названа стабильность и предсказуемость систем.
Источник: The Decoder.
