OpenAI заявила, что бенчмарк SWE-bench Verified для оценки навыков программирования у ИИ больше не даёт корректное представление о возможностях моделей. Компания выделяет две ключевые проблемы.
Во-первых, по данным OpenAI, как минимум 59,4% заданий в SWE-bench Verified содержат ошибки в постановке. Тест отклоняет правильные решения, так как жёстко требует определённый способ реализации или проверяет функции, которые не описаны в самом задании.
Во-вторых, значительная часть задач и решений попала в обучающие наборы ведущих моделей. OpenAI отмечает, что GPT-5.2, Claude Opus 4.5 и Gemini 3 Flash Preview в ряде случаев воспроизводят исходные исправления «по памяти». В результате рост показателей по бенчмарку всё больше отражает знакомство модели с задачами, а не реальное качество кода.
В этих условиях OpenAI рекомендует использовать SWE-bench Pro как более корректный тест и параллельно создаёт собственные закрытые наборы заданий.
Отмечается и возможный стратегический аспект: «загрязнённый» бенчмарк способен улучшать позиции конкурентов, особенно открытых моделей, и искажать рейтинги. Ранее SWE-bench Verified считался ключевым стандартом оценки ИИ-программистов, за доли процента в нём соперничали OpenAI, Anthropic, Google и ряд китайских открытых моделей.
Авторы материала подчёркивают, что такие тесты могут давать полезный сигнал, однако их ценность как показателя реальной эффективности в практике разработки остаётся ограниченной.
Источник: The Decoder.
