Исследователи из UC Santa Barbara, MIT CSAIL и MIT-IBM Watson AI Lab проверили, насколько полезны так называемые skills для ИИ-агентов, и пришли к сдержанному выводу: в реальных условиях их эффект резко снижается, а более слабые модели иногда работают с ними даже хуже, чем без них.
Речь идет о текстовых файлах со специальными инструкциями: рабочими процессами, шаблонами использования API и практическими рекомендациями. Предполагается, что агент сам находит нужный файл и применяет его к задаче.
Anthropic представила skills в октябре 2025 года как модульную систему для Claude Code. Затем идею подхватили другие платформы, включая OpenAI Codex и ряд open-source-проектов.
Авторы работы отмечают, что прежние тесты давали агентам слишком удобные условия. В бенчмарке SKILLSBENCH моделям напрямую передавали заранее подобранные skills под конкретную задачу, фактически в виде готовой инструкции.
В одном из примеров задача требовала определить дни наводнений на станциях USGS. Три выданных skills уже содержали нужный API для загрузки данных об уровне воды, точный URL с порогами наводнений и готовые фрагменты кода для поиска таких дней. Как пишут исследователи, «эти skills в сумме почти напрямую задают точное руководство по решению задачи».
На практике агенты работают иначе. Им приходится искать подходящие skills в больших и шумных наборах данных, и при этом нет гарантии, что нужный файл вообще существует.
Для исследования команда собрала 34 198 реальных skills из open-source-репозиториев, отфильтровала их по лицензиям MIT и Apache 2.0 и удалила дубликаты. Материалы взяли с платформ skillhub.club и skills.sh. Они охватывают веб-разработку, data engineering и научные вычисления.
После этого исследователи проверили шесть сценариев с растущей степенью реализма: от прямой передачи заранее отобранных skills до самостоятельного поиска по всей коллекции, с отвлекающими файлами и без специально подготовленных skills в наборе.
В тестах использовали три модели:
- Claude Opus 4.6 с Claude Code
- Kimi K2.5 с Terminus-2
- Qwen3.5-397B-A17B с Qwen Code
Каждая модель проходила весь цикл сама: от поиска skills до решения задачи.
Результаты показали устойчивое падение качества. У Claude Opus 4.6 доля успешно решенных задач составила 55,4% при принудительной загрузке заранее подобранных skills. Когда модель сама выбирала, что загружать, показатель снизился до 51,2%. Добавление отвлекающих skills сократило результат до 43,5%, самостоятельный поиск — до 40,1%, а удаление заранее подготовленных skills из пула — до 38,4%. Базовый результат без skills составил 35,4%.
У более слабых моделей ситуация оказалась хуже. Kimi K2.5 в самом реалистичном сценарии получила 19,8% против 21,8% без skills. У Qwen3.5-397B-A17B результат составил 19,7% против 20,5% без них. По словам авторов, нерелевантные skills могут мешать модели, потому что она тратит ресурсы на загрузку и выполнение бесполезных инструкций.
Исследователи выделили три главных узких места. Первое — выбор skills. Даже если заранее подобранные файлы доступны, Claude во всех запусках загружала полный набор лишь в 49% случаев. При наличии отвлекающих файлов этот показатель падал до 31%.
Kimi, напротив, загружала skills заметно чаще — в 86% случаев в сценарии с заранее подобранным набором. Авторы связывают это с различиями в агентной среде. Однако более активная загрузка не привела к лучшему результату по задачам.
Второе узкое место — самостоятельный поиск. Даже лучший способ извлечения skills дал лишь 65,5% по метрике Recall@5. Третья проблема в том, что агенты плохо переделывают общие skills под конкретные задачи, если для них нет готового файла.
Для поиска skills команда сравнила несколько стратегий. Лучший результат показал agentic hybrid search: агент поэтапно формулирует поисковые запросы, проверяет кандидатов и меняет стратегию. Этот подход превзошел простой семантический поиск на 18,7 процентного пункта по Recall@3.
Чтобы сократить разрыв в качестве, исследователи протестировали два способа доработки skills. В первом случае агент изучал задачу, пробовал решить ее, оценивал полезность найденных skills и создавал на этой базе новые файлы под конкретную задачу. Например, в задаче про tensor parallelism агент объединил идеи из двух разных skills и собрал новый вариант, которого не было ни в одном из исходных файлов.
Это дало заметный прирост. На SKILLSBENCH результат Claude вырос с 40,1% до 48,2%. На общем агентном бенчмарке Terminal-Bench 2.0 task-specific refinement поднял показатель с 61,4% до 65,5%. Если сравнивать с базой без skills, рост составил от 57,7% до 65,5% с учетом поиска и доработки.
Второй подход — task-independent refinement, то есть улучшение skills заранее, без знания целевой задачи, — дал нестабильный эффект. Авторы делают вывод, что доработка в таком формате скорее усиливает уже полезные skills, чем добавляет новые знания. Метод помогает в тех случаях, когда изначально найденные файлы уже содержат нужную информацию.
Выводы совпадают с более ранней работой Vercel. В ней выяснилось, что в 56% тестов агент вообще не извлекал доступный skill. Доля успешных решений со skills полностью совпала с результатом без документации. При этом простой файл Markdown AGENTS.md, который пассивно подгружался в контекст агента, показал 100% успешных решений, тогда как система skills достигла лишь 79%.
Новая работа подтверждает ту же проблему на более крупном массиве данных и на нескольких моделях: агенты часто не распознают доступные skills как релевантные и просто пропускают их.
Авторы исследования призывают улучшить методы поиска, сделать более эффективной офлайн-доработку skills и учитывать различия между моделями при построении таких экосистем. Код исследования опубликован на GitHub.
Источник: The Decoder, исследование UC Santa Barbara, MIT CSAIL и MIT-IBM Watson AI Lab.
