Разработчики, которые учатся новым программированию с помощью искусственного интеллекта, усваивают материал хуже, чем те, кто использует только документацию и поиск. К такому выводу пришли специалисты Anthropic после эксперимента с 52 разработчиками, работающими на Python, которые не были знакомы с библиотекой Trio.
Участников разделили на две группы: одна получала помощь от ассистента на GPT-4o, вторая работала только с документацией и поиском. Обе группы выполняли задачи на Trio, после чего сдавали тест по изученным концепциям. Результат: разработчики с доступом к ИИ показали результат на 17% хуже и не сэкономили времени.
«Наши результаты показывают, что активное внедрение ИИ в рабочие процессы связано с компромиссами», — пишут исследователи Джуди Ханвэн Шен и Алекс Тамкин.
Анализ поведения показал шесть разных паттернов работы с ИИ. Три из них приводили к самым низким результатам: полностью делегировавшие задачи ИИ набрали только 39% на тесте, а те, кто часто просил ИИ устранить ошибки, практически не понимали материал. Наилучших результатов добились те, кто задавал ИИ уточняющие вопросы и просил объяснения.
В отличие от старых исследований, выигрыш по скорости при использовании ИИ не подтвердился. Некоторые участники тратили до 11 минут только на формулирование вопросов ассистенту.
Тех, кто использовал ИИ только для генерации кода, было 20%. Они работали быстрее, но показали худшие результаты в обучении. Остальные пользователи разбавляли работу пояснениями и уточнениями, что положительно влияло на понимание материала. Учёные подозревают, что ИИ эффективнее всего при рутинных или знакомых задачах.
В группе без ИИ участники делали больше ошибок и вынуждены были трижды чаще их исправлять, что помогало глубже разобраться. Особенно заметна разница была в вопросах по отладке: ошибки при работе с Trio помогли контрольной группе лучше понять базовые принципы.
Антропик предупреждает, что чрезмерная автоматизация может мешать развитию профессиональных навыков. Это критично для сфер, связанных с безопасностью: если человек проверяет или дебажит код, навыки нужны в полной мере.
«ИИ не даёт короткого пути к мастерству, и внедрять его нужно с учётом учебных процессов», — резюмируют исследователи. Эффективнее всего использовать ИИ для понимания концепций или получения объяснений.
Эксперимент длился час и не охватывал более долгие задачи или другие профессии: влияние ИИ на обучение в сферах письма и дизайна пока не изучено. В Anthropic уже работают над автоматизацией этих задач через Claude Cowork, но возможно воздействие на навыки здесь окажется ещё сильнее.
Примечательно, что Anthropic опубликовали исследование с результатами, которые потенциально вредят их бизнесу — компания зарабатывает на ИИ-ассистентах Claude. Открытое предупреждение об ограничениях продукта — редкость для ИТ-рынка.
