Новое исследование METR показало, что опытные open-source разработчики работают медленнее с помощью ИИ-инструментов, несмотря на ощущение ускорения процесса.
В начале 2025 года ученые провели рандомизированный эксперимент, чтобы узнать, как современные ИИ-инструменты влияют на производительность опытных разработчиков. В среднем программисты выполняли реальные задачи на 19% дольше при использовании ИИ, хотя сами считали, что работают быстрее.
В исследовании участвовали 16 разработчиков, которые решили 246 задач из собственных крупных open-source проектов. До эксперимента они оценили, что с ИИ их работа ускорится на 24%.
Для честного сравнения задачи случайным образом попадали или в контрольную группу (без генеративного ИИ), или в экспериментальную (с ИИ-ассистентами, такими как Cursor Pro с моделями Claude 3.5 и Claude 3.7 Sonnet).
Разработчики записывали экраны и фиксировали время выполнения. Сложность задач учитывали с помощью статистических методов — брали во внимание личные временные оценки каждого участника, чтобы точно узнать, сколько именно времени «съел» ИИ.
Главный результат: разработчики стабильно переоценивали пользу ИИ. Даже после работы с задачами им казалось, что ИИ ускорил их на 20%, хотя фактически время только увеличилось.
В METR считают, что эти данные указывают на необходимость новых методов оценки влияния генеративного ИИ в реальной работе. Распространённые тесты, такие как SWE-Bench и RE-Bench, используют отдельные задачи вне реального контекста, что искажает результаты. Рандомизированные эксперименты, как в этом случае, дают более полную картину пользы и недостатков ИИ-инструментов в ежедневной работе.
AI-разработчик, к которому мы обратились, считает выводы исследования логичными. По его мнению, при работе с большими и зрелыми проектами с высокими требованиями и множеством негласных правил ИИ может добавлять работы по объяснению и контролю. Он отметил: «Для новых проектов или быстрого прототипирования, а также при знакомстве с незнакомыми фреймворками ИИ-инструменты могут оказаться полезными».
