GitHub представила ReviewBench — новый офлайн-бенчмарк для оценки ИИ-агентов код-ревью, основанный на реальных pull request, многоисточниковой разметке и метриках, приближенных к работе в продакшене.
Инструмент решает задачу сравнения различных ИИ-рецензентов кода. Разные системы по-разному находят ошибки: одни фиксируют больше проблем, но создают больше «шума», другие лучше выявляют критические баги, а третьи чаще предлагают незначительные улучшения. ReviewBench позволяет объективно измерять эти различия и понимать, какой агент лучше подходит под конкретный процесс разработки.
Бенчмарк создан на основе анализа 103,9 млн pull request на GitHub. В итоговый набор вошли 219 публичных pull request из 187 открытых репозиториев, охватывающих 19 языков программирования, при этом распределения по языкам и размеру репозиториев близки к общей картине на GitHub. Набор данных доступен публично.
Разработчики намеренно скорректировали распределение по размеру pull request. В выборке меньше крошечных однофайловых изменений и больше «средних» и крупных запросов, где качество обзора кода особенно важно и где ИИ-рецензент проявляет себя лучше.
Для получения более полной «золотой» разметки ReviewBench использует многоисточниковый подход: в работу включены выводы человеческих экспертов, передовых языковых моделей, статического анализа и структурированных отчётов. Каждое найденное замечание помечается по категории и уровню серьёзности, что позволяет настраивать срезы результатов под конкретные запросы команд.
Система оценивания опирается на несколько метрик, которые учитывают как уже известные, так и новые автоматически найденные проблемы. Помимо классических точности и полноты по фиксированному «золотому» набору, ReviewBench вводит расширенные метрики, которые не штрафуют агента за обнаружение неожиданных, но корректных ошибок. Для межсистемного сравнения базовой считается метрика с фиксированной разметкой, а расширенные показатели используются как дополнительная диагностика по каждой системе.
Оценку можно гибко настраивать под разные предпочтения разработчиков. Результаты разрезаются по серьёзности и типу замечаний, а также по балансу между полнотой и точностью. Пользователь может менять параметр β в Fβ-мере, отдавая приоритет либо широте охвата, либо снижению шума. Лидерборд пересчитывается с учётом этих настроек, помогая выбрать наиболее подходящий агент код-ревью.
Перед релизом старшие инженеры, не участвовавшие в построении набора данных, независимо перепроверили все эталонные находки. Их оценки совпали с разметкой ReviewBench в 96,6% случаев. Для каждой оценки фиксируются версия датасета, судьи и алгоритм сопоставления, что позволяет воспроизводить результаты, сравнивать системы в одинаковых условиях и проводить повторную проверку при обновлении бенчмарка.
По данным GitHub, использование ReviewBench улучшило офлайн-оценку сервиса Copilot code review (CCR) и сделало её более предсказуемой по отношению к результатам онлайн-экспериментов. Изменения, показавшие улучшения на бенчмарке, как правило, подтверждают эффект и в продакшене, что помогает точнее выбирать кандидатов для A/B-тестов.
Один из примеров — эксперимент с «лёгким» тарифом CCR, где внедрили схему мульти-модельного ансамбля: итоговый отзыв формируется из нескольких независимых прогонов, а не одного. ReviewBench заранее предсказал рост точности, полноты, объёма комментариев и снижение стоимости обзора. В онлайн A/B-тесте адресуемость комментариев (аналог точности) выросла на 8,0%, полнота — на 13,6%, объём комментариев — на 61%, а стоимость одного обзора снизилась на 8,0% по сравнению с контрольной группой.
Уточнённый анализ по уровню серьёзности также подтвердился экспериментом. ReviewBench прогнозировал рост числа критических комментариев на 227%, а онлайн-данные показали увеличение на 262%, при этом структура сместилась в сторону более значимых замечаний и меньшего количества малозначимых «нитов».
ReviewBench доступен в формате исследовательского превью через сайт проекта. Пользователи могут изучать полный бенчмарк, сравнивать агентов код-ревью и подключать свои системы для оценки и последующей доработки.
GitHub и Microsoft приглашают исследователей и практиков тестировать свои решения на ReviewBench, оспаривать принятые допущения и помогать развивать методологию. Цель проекта — сделать оценку ИИ-код-ревью более прозрачной, воспроизводимой и полезной для реальных команд разработки.
По информации GitHub.
