Ричард Саттон, известный специалист по обучению с подкреплением и лауреат премии Тьюринга, считает, что индустрия искусственного интеллекта отклонилась от своего курса.
«По мере того как искусственный интеллект стал огромной индустрией, он в какой-то степени потерял свой путь», — пишет Саттон. Он утверждает, что недавний прогресс игнорирует ключевые принципы, которые необходимы для создания настоящего интеллекта.
Саттон призывает пересмотреть подходы: «Что нужно, чтобы вернуть нас к созданию настоящего интеллекта? Нам нужны агенты, которые учатся постоянно. Нам нужны модели окружающего мира и планирование. Нужно знание, которое можно изучать на высоком уровне. Нам нужен мета-навигатор для обобщения.»
Саттон, работающий в Google DeepMind, присоединился к другим известным исследователям, которые критикуют индустрию за пристальное внимание к масштабированию больших языковых моделей. Он считает, что настоящий интеллект возможен только тогда, когда агенты учатся на собственном опыте — за счёт взаимодействия с окружающей средой. Вместе с Дэвидом Сильвером он недавно выпустил статью, где говорится, что ИИ должен учиться через практику, а не просто поглощать огромные объёмы текста.
По словам Саттона, современные модели делают противоположное: их знания закладываются при проектировании, а не приобретаются в процессе обучения. Он вспоминает свой принцип “Горький урок”: в ИИ работают масштабируемые универсальные методы, а не ручная настройка, основанная на человеческих знаниях.
Главная проблема нынешних систем — неспособность учиться непрерывно. Модели «забывают» накопленные знания при получении новой информации, а сами алгоритмы не могут поддерживать постоянное обучение.
Для решения этой задачи Саттон предлагает архитектуру Oak (Options and Knowledge) — структуру для создания агентов, способных достичь сверхинтеллекта благодаря обучению на опыте.
Oak базируется на трёх принципах. Первый — агент универсален и не имеет специальных знаний о каком-либо конкретном мире. Второй — обучение происходит только на основе личного опыта: агент взаимодействует с окружающей средой, наблюдает, действует и получает награды. Третий — гипотеза о награде состоит в том, что любую цель можно выразить через максимизацию простого числового сигнала награды.
В центре Oak — самоподдерживающийся цикл: агент строит всё более сложные абстракции благодаря обратной связи. Функции, которые помогают с планированием и решением задач, становятся основой для создания ещё более сложных знаний. Этот процесс не ограничен, кроме как вычислительными ресурсами, и, по мнению Саттона, может однажды привести к появлению сверхинтеллекта.
Однако, по словам Саттона, Oak пока остаётся недостижимым, так как ещё не созданы алгоритмы, способные обучаться стабильно и без потери уже полученных знаний. Он считает, что именно такого глубокого, надёжного и продолжительного обучения сейчас не хватает.
