Исследование UC Berkeley показало, что после запуска ChatGPT в ноябре 2022 года оценки заметно выросли на курсах с большим числом письменных и программных заданий. Авторы связывают этот эффект прежде всего с домашними работами, а не с реальным ростом знаний студентов.
Работа основана на анализе более 500 000 оценок в крупном государственном исследовательском университете Техаса. Исследователи изучили 319 курсов из 84 кафедр за восемь осенних семестров — с 2018 по 2025 год.
Для оценки влияния ИИ автор исследования Игорь Чириков использовал структуру заданий из программ осени 2022 года, то есть до появления ChatGPT. Главным показателем стала доля письменных и программных работ — тех типов заданий, где генеративный ИИ показывает лучшие результаты.
После запуска ChatGPT доля оценок A выросла на 13 процентных пунктов, что примерно на 30% выше уровня 2022 года. Средний GPA увеличился на 0,12 пункта, а распределение оценок стало уже: оценки A- и B+ чаще смещались к обычным A.
Чириков проверил, связано ли это с лучшим обучением или с тем, что ИИ фактически выполняет часть работы за студентов. Для этого он отдельно посмотрел, какую долю итоговой оценки составляли домашние задания.
Логика была простой: если ИИ действительно помогает лучше усваивать материал, рост оценок должен проявляться и на курсах с контролируемыми экзаменами, и на курсах с домашними работами. Если же ИИ подменяет самостоятельную работу, эффект должен быть сильнее там, где домашние задания важнее для итоговой оценки.
Именно это и показали данные. На курсах, где доля домашней работы была выше медианного уровня, доля оценок A росла еще на 16 процентных пунктов по сравнению с курсами ниже медианы при таком же уровне влияния ИИ. В курсах с меньшей ролью домашних заданий эффект оказался слабым и статистически незначимым.
Как пишет Чириков, такой результат трудно объяснить только общим ростом качества обучения или обычными изменениями в распределении студентов по успеваемости.
Дополнительную проверку дали задания с устными презентациями. Там, где ИИ заметно менее полезен, оценки почти не изменились.
Авторы отмечают, что инфляция оценок давно существует в американских университетах. Например, в Гарварде доля оценок A выросла с 24% в 2005 году до 60,2% в 2025 году. Ранние исследования объясняли это поощрением мягкого оценивания, конкуренцией между университетами и внутренней политикой вузов.
По мнению Чирикова, влияние ИИ отличается от прежних причин. Раньше факторы инфляции срабатывали уже на этапе выставления оценок, после сдачи работы. ИИ меняет сам процесс выполнения задания, еще до того, как преподаватель его увидит.
Исследование предупреждает: если оценки на курсах с большим числом письменных и программных работ все чаще отражают текст или код, созданные ИИ, работодатели и магистратуры могут хуже оценивать реальные навыки кандидатов.
Чириков также указывает на возможный замкнутый эффект. Если ИИ берет на себя задания, которые обычно развивают навыки, выпускники могут оказаться слабее как раз в тех видах работы, где ИИ уже особенно силен. Это может ускорить автоматизацию и усилить разрыв в навыках на рынке труда.
В качестве одного из решений исследование предлагает пересмотреть формат оценки знаний. Полный переход к экзаменам под контролем преподавателя автор не считает простым выходом. Более рабочий вариант — задания, которые либо ограничивают применение ИИ, либо включают его осознанно, например через фиксацию этапов работы и последующие вопросы, подтверждающие понимание материала.
Глава OpenAI Сэм Альтман в недавнем интервью признал, что за три с половиной года после запуска ChatGPT система образования почти не отреагировала на ИИ. По его словам, он ожидал год массового списывания, а затем системную перестройку, но пока не видит заметных изменений.
Альтман предупредил, что без таких изменений навыки критического мышления могут прийти к «существенной атрофии».
При этом он считает, что образование может перестроиться, как это уже бывало после прошлых технологических скачков. По его мнению, письмо и программирование все равно нужно преподавать, потому что они формируют сам способ мышления.
«Я из тех, кто думает через письмо, и я пишу много вещей, которые никому не показываю, но это все равно важно для меня, чтобы разобраться в мыслях. Поэтому я благодарен, что научился писать. Люди говорят то же самое о программировании», — сказал Альтман.
В материале также приводится пример Норвегии, где недавно в основном запретили ИИ-инструменты в начальной школе и ограничили их применение в средней. Премьер-министр Йонас Гар Стёре заявил, что некритичное использование ИИ подталкивает учеников пропускать важные этапы обучения.
Источник: The Decoder, исследование UC Berkeley.
