Квентин Энтони, один из разработчиков, участвовавших в исследовании METR, поделился своими наблюдениями по итогам эксперимента в X. В отличие от большинства, ему удалось сократить время выполнения задач с помощью ИИ на 38%. Таким образом, его результат стал исключением на фоне остальных участников.
Энтони поясняет, что уменьшение продуктивности связано не с недостатком навыков, а с подходом к ИИ-ассистентам. “Мы любим говорить, что LLM — это инструмент, но относимся к ним как к волшебной палочке,” — отметил он. По его словам, из-за этого разработчики тратят слишком много времени на работу с моделью, вместо того чтобы двигаться к результату.
Он подчеркивает и технические ограничения: модели хорошо пишут тесты, но мало помогают с низкоуровневым системным кодом, например, программированием ядер GPU или синхронизацией. Еще одна проблема — “context rot”: по мере удлинения диалога LLM становится менее точной, что сбивает разработчиков с толку и вредит производительности.
В качестве совета он рекомендует чаще начинать новые чаты, выбирать модели по их сильным сторонам и ограничивать время взаимодействия с LLM.
Сам Энтони использует разные модели для разных задач: Gemini — чтобы понимать код, Claude — для рефакторинга и отладки. Вместо плагинов для IDE он предпочитает API, чтобы самому решать, какую информацию получает модель. “LLM — это инструмент, и нам нужно изучать его слабые стороны и подходить к ним осознанно,” — объяснил он.
Ранее METR провели исследование: опытные разработчики с ИИ выполняли задачи на 19% дольше, чем без ИИ, хотя были уверены, что работали быстрее. В эксперименте участвовали 16 открытых разработчиков, которые выполняли 246 реальных задач из собственных проектов. До начала работы они считали, что ИИ повысит их скорость на 24%. Практика показала обратное.
Для точности задачи распределялись на группы: одна работала без генеративного ИИ, другая — с помощью ассистентов вроде Cursor Pro и моделей Claude 3.5, 3.7 Sonnet. Учитывался реальный потраченный на задачу разработчиками и предварительные оценки времени, чтобы сравнивать именно результат взаимодействия с ИИ, а не сложность задачи.
Главный вывод: несмотря на ожидания, с ИИ задачи занимали больше времени. Даже после выполнения работы разработчики по-прежнему верили, что стали быстрее на 20%, игнорируя реальные показатели.
В METR считают, что это свидетельствует о необходимости других методов проверки пользы ИИ-инструментов. Популярные тесты обычно изолированные и мало что говорят о работе с реальными задачами. Рандомизированные исследования позволяют понять, как ИИ влияет на продуктивность в реальных условиях.
Наш разработчик соглашается с результатами METR, особенно с учетом зрелых, сложных проектов, где много негласных правил и высокие требования. В таких случаях объяснять задачи ИИ и контролировать его работу может отнимать лишнее время. В новых проектах или при быстрой разработке, а также при работе с неизвестными фреймворками, ИИ-ассистенты могут быть полезней.
