Андрей Карпати, бывший исследователь ИИ в OpenAI и Tesla, считает, что нынешний ажиотаж вокруг агентных ИИ и языковых моделей слишком преждевременен. В интервью подкастеру Дваркешу Пателю он сказал: «Нужно говорить не о “годе агентов”, а о “десятилетии агентов”».
Карпати отмечает, что системы вроде Codex и Claude Code пока далеко не похожи на человеческих стажёров или профессионалов. Многие лаборатории стараются к этому прийти, но по его словам, модели еще очень далеки от этих задач. У них нет базовых когнитивных способностей, они не умеют работать с разными способами передачи информации, не имеют памяти и не справляются с сложными компьютерными задачами. Карпати прямо говорит: «Они просто не работают».
По его оценке, решение этих ключевых проблем займет около десяти лет: «Мне кажется, проблемы решаемы и преодолимы, но ещё сложные. Если усреднить, это лет десять».
Карпати видит разрыв между ожиданиями индустрии и реальностью. Он утверждает: «В отрасли переоценивают возможности этих моделей». По его мнению, даже самые продвинутые языковые модели, как GPT-5 Pro, сейчас полезны только в узких задачах — например, для анализа кода. «Часто получается неплохо и удивительно хорошо по сравнению с прошлым годом», — отмечает он, но этого мало для работы в настоящих софтверных проектах.
Эти модели часто не справляются со стилями, зависимостями и сути конкретных проектов, и Карпати не видит, чтобы они умели решать новые задачи за пределами обучающей выборки. «В целом модели не дотягивают», — признает он. На сегодня, по его мнению, максимум новых языковых моделей — это автодополнение: «Сейчас автодополнение — мой максимум». Однако Карпати заявляет, что индустрия слишком приукрашивает возможности: «Чувствую, что индустрия делает слишком большой скачок и делает вид, будто это нечто потрясающее — а это не так. Это сырой продукт».
Карпати указывает на низкое качество обучающих данных. Сегодня языковые модели обучаются почти только на интернет-данных, которые он называет бесполезными. «Это полный мусор. Я вообще не понимаю, как это работает» — говорит он. Вместо журналистики высокого качества, как в Wall Street Journal, в выборках почти нет ничего ценного, в основном фрагменты и шум.
Он считает, что из-за этого большая часть работы моделей — просто запоминание, а не настоящее понимание. «Можно добиться огромного скачка, потому что интернет ужасен», — отмечает Карпати. В качестве решения он предлагает использовать умные модели для отбора будущих обучающих данных, чтобы избавляться от ненужного и оставлять только ценный контент. Цель — создавать компактные, эффективные модели, обучающиеся на качественной информации вместо банального запоминания случайного веб-контента.
Это усиливает позицию правообладателей в спорах об использовании данных: если лучшие модели действительно нуждаются в профессиональных источниках, у издателей больше аргументов для получения компенсаций.
Карпати не верит, что будет один прорыв в ИИ. Он считает, что развитие будет идти через много скоординированных небольших шагов: улучшение данных, новых архитектур моделей, методов обучения и аппаратного обеспечения.
Он скептически относится и к обучению с подкреплением, которое часто используют для оптимизации языковых моделей. По его словам, такие сигналы часто ненадежны и легко обходятся, когда речь заходит о сложных рассуждениях. При этом Карпати считает обучение с подкреплением шагом вперед относительно простого подражания, хотя и признает, что потенциал для роста у подхода огромный.
В долгосрочной перспективе Карпати предлагает учить языковые модели не только на текстах, а с помощью взаимодействия с реальными средами — как делают исследователи DeepMind Ричард Саттон и Дэниел Сильвер.
