Исследовательская организация METR представила новое исследование, в котором показано, что популярный бенчмарк для ИИ‑агентов в программировании SWE-bench Verified значительно завышает их реальную эффективность. По оценке авторов работы, примерно половина решений, признанных тестом успешными, не были бы приняты настоящими мейнтейнерами проектов.
SWE-bench Verified долгое время считался одним из ключевых инструментов оценки ИИ для разработки ПО. Он проверяет, могут ли агенты решать реальные задачи из открытых проектов: изменения кода автоматически прогоняются через набор тестов. Результаты по этому бенчмарку регулярно используют Anthropic и OpenAI, демонстрируя прогресс своих моделей.
METR поставила под сомнение корректность такой оценки. Команда исследователей — Паркер Уитфилл, Черил Ву, Джоэл Беккер и Нейт Раш — привлекла четырех опытных разработчиков, которые сопровождают три проекта из SWE-bench (scikit-learn, Sphinx и pytest). Они проверили 296 фрагментов кода, сгенерированных ИИ, и примерно половину решений, успешно прошедших автоматический тест, мейнтейнеры не стали бы включать в основной репозиторий.
В исследовании использовались решения пяти моделей: Claude 3.5 Sonnet (старая версия), Claude 3.7 Sonnet, Claude 4 Opus, Claude 4.5 Sonnet и GPT-5. Прогон задач выполнялся на основе данных Epoch AI Benchmarking Hub. Мейнтейнеры не знали, какое решение создано человеком, а какое — нейросетью, что позволило снизить возможные предвзятости.
Чтобы учесть разброс в решениях людей, исследователи также дали мейнтейнерам исходные человеческие патчи, которые уже были приняты в проекты. Повторно одобрено оказалось 68% таких референсных решений; все остальные результаты нормировали относительно этой базы.
В среднем доля решений, которые готовы принять мейнтейнеры, на 24 процентных пункта ниже, чем показатель, который дает SWE-bench Verified. METR отмечает, что эта разница статистически значима. Темп улучшения моделей тоже выглядит более скромным: по оценке людей, годовой рост эффективности примерно на 9,6 процентного пункта ниже, чем это следует из автоматического бенчмарка, хотя сами авторы признают, что этот тренд менее устойчив статистически.
Мейнтейнеры делили отклоненные патчи на три категории: низкое качество кода (плохой стиль или несоответствие стандартам проекта), вред существующему коду и базовые функциональные ошибки. По данным METR, существенная часть отказов связана именно с функциональными ошибками: ИИ-агенты не устраняли исходную проблему, хотя тесты проходили успешно.
Переход от Claude 3.5 Sonnet к Claude 3.7 Sonnet дал заметный рост успешных решений, но одновременно увеличил число случаев, когда мейнтейнеры находили базовые функциональные ошибки. На шаге от Claude 3.7 к Claude 4 Opus проблемы сместились от «тест не прошел» к «низкое качество кода». Для Claude 4.5 Sonnet основное улучшение пришлось именно на качество кода. GPT-5, по данным исследования, заметно уступил моделям Anthropic в этой оценке.
Авторы также провели анализ временного горизонта: они перевели результаты бенчмарка в эквивалентное время работы человека, при котором модель достигает 50% успешных решений. Разрыв оказался большим: по автоматической оценке Claude 4.5 Sonnet достигает порога 50% за ~50 минут, а по оценке мейнтейнеров — примерно за 8 минут. При этом исследование отмечает, что такие оценки менее устойчивы, потому что задачи в SWE-bench Verified охватывают узкий диапазон по длительности, и для оценки 50‑процентного порога приходилось использовать экстраполяцию.
METR подчеркивает, что работа показывает хорошо известную проблему: бенчмарки дают лишь приближенное представление о практической пользе ИИ. Фактическая обратная связь и человеческая экспертиза оказываются важнее. В сообществе при этом есть противоположные мнения: часть разработчиков говорит, что ИИ‑агенты заметно помогают в кодинге, другие указывают на серьезные риски для качества кода. Кроме того, текущий всплеск интереса к ИИ‑разработке связан с более новыми моделями вроде GPT‑5.2‑Thinking и Claude Opus 4.5, которые в эту работу не вошли.
Тем не менее, если результаты подтвердятся, разрыв между бенчмарком и оценкой людей выглядит очень большим. SWE-bench Verified давно считают эталоном при проверке ИИ‑агентов для программирования, и если половина решений, которые он помечает как успешные, не выдерживает человеческий код‑ревью, это подрывает точность сравнений моделей и ставит под вопрос прогнозы бизнеса и инвесторов по эффективности ИИ‑разработки.
Исследователи отдельно отмечают, что их работа не доказывает существование фундаментального потолка возможностей таких моделей. Они называют «правдоподобным» сценарий, при котором более точные подсказки и лучше настроенные инструкции сократят разрыв между автоматической и человеческой оценкой.
Сравнение также нельзя считать полностью симметричным. Обычные разработчики могут получать обратную связь и дорабатывать свои решения, а ИИ‑агенты в эксперименте делали только одну попытку. Условия ревью тоже были отличны от реальности: у мейнтейнеров не было доступа к автоматизированным средствам тестирования, задачи брались из старых состояний проектов, а требования к тестам специально смягчали, чтобы повысить шансы ИИ.
Таким образом, исследование не описывает максимальные теоретические возможности моделей. Оно показывает, что прямая интерпретация бенчмарк‑оценок существенно завышает практическую полезность ИИ‑агентов без дополнительной настройки и участия человека. Авторы предполагают, что похожие искажения вероятны и в других тестах для ИИ.
Соавтор работы Джоэл Беккер, исследователь METR, в своем комментарии в X также призывает не трактовать результаты как доказательство полной бесполезности ИИ‑агентов. По его словам, при удвоении возможностей ИИ каждые три–шесть месяцев даже отставание в два–десять раз может быть преодолено достаточно быстро.
Источник: исследование METR, данные Epoch AI Benchmarking Hub.
