Андрей Карпати, бывший исследователь Tesla и OpenAI, выступил с критикой подхода к обучению больших языковых моделей (LLM) на основе обучения с подкреплением (RL).
На платформе X Карпати написал, что «вознаграждающие функции RL супер подозрительные» — они ненадёжны, легко обходятся и плохо подходят для обучения интеллектуальному решению задач. Он подчеркнул, что текущие модели, ориентированные на рассуждение, сильно зависят от RL, несмотря на недостатки такого подхода.
RL сейчас помогает LLM разбивать задачи на логические шаги и делает процесс мышления моделей более понятным. Алгоритм эффективен, когда есть однозначные ответы, так как модель получает положительную обратную связь за пошаговое решение.
Карпати не отрицает плюсы RL-финетюнинга по сравнению с классическим дообучением с учителем (SFT), когда модель просто копирует человеческие ответы. По его мнению, RL даёт более сложное поведение модели, и он считает, что его использование будет расти.
Однако для настоящего прорыва Карпати считает нужными другие механизмы обучения. Он отмечает, что люди используют более мощные способы учиться, которые ещё не реализованы в ИИ: «Эти методы ещё не изобретены и не масштабированы должным образом».
В качестве одного из направлений он выделяет обучение на уровне запроса к системе, когда обучение происходит через токены и контекст, а не через изменение весов модели. Карпати сравнивает это с тем, как мозг во сне обрабатывает и запоминает информацию.
Карпати также предлагает обучать LLM в интерактивных цифровых средах, где модели получают обратную связь за свои действия — не только за ответы. Такой подход позволяет моделям принимать решения и проверять результат в контролируемых ситуациях. Главная задача сейчас — создание большого и качественного набора таких цифровых сред.
В августе 2024 года Карпати высказывал мысль, что RL может стать прорывом, если использовать чёткие, измеримые критерии успеха. По его словам, стандартный подход RLHF слишком зависит от человеческих предпочтений и больше похож на “виб-чек”, чем на настоящую цель. Он считает, что решение сложных задач требует чётких критериев успеха.
Позиция Карпати совпадает с мнением исследователей DeepMind Ричарда Саттона и Дэвида Сильвера из эссе “Welcome to the Era of Experience”. Они уверены, что для развития ИИ нужно учиться через опыт и самостоятельные действия, а не копирование человеческого языка или решений.
