Исследователи из Принстонского университета и Варшавской политехники показали, что увеличение глубины нейросетей в задачах обучения с подкреплением может давать прирост качества от 2 до 50 раз в зависимости от задачи. Вместо привычных 2–5 слоёв они использовали до 1 024 слоёв в самообучающемся агенте и зафиксировали появление новых форм поведения.
В обработке текста и изображений рост размеров моделей уже привёл к крупным достижениям. В обучении с подкреплением (reinforcement learning, RL), где агент учится через пробу и ошибку, подобный эффект масштабирования долгое время не удавалось получить. Большинство RL-систем работают с несколькими слоями, тогда как языковые модели вроде Llama 3 используют сотни.
В самых сложных экспериментах, где гуманоидный агент должен пройти лабиринт, исследователи тестировали сеть глубиной до 1 024 слоёв. Ключевым элементом стал алгоритм Contrastive RL (CRL), который переносит в RL несколько принципов масштабирования, уже доказавших эффективность в языковых моделях.
Одна из главных проблем масштабирования RL — дефицит обратной связи по сравнению с языковыми моделями. При обучении языковой модели каждый токен выступает сигналом для обучения, а агент RL часто получает лишь редкие оценки достижения цели.
CRL обучает агента простой способности: определять, выглядит ли текущее действие частью траектории, которая действительно приводит к цели. Агент учится на собственном опыте, без примеров от людей и без вручную заданных функций вознаграждения. Совпадающие комбинации состояний и действий во время обучения «сближаются», несоответствующие — «раздвигаются».
Чтобы обучение очень глубоких сетей проходило устойчиво, команда объединила три известных архитектурных приёма: остаточные связи для сохранения информации в глубине, метод нормализации для стабильных шагов обучения и специальную функцию активации. В работе подчёркивается, что масштабирование по глубине даёт эффект только при совместном использовании всех трёх компонентов.
Одно из наиболее заметных наблюдений — резкий скачок качества после достижения критической глубины. В симуляции с гуманоидом сеть из 4 слоёв просто падает в направлении цели. При 16 слоях агент начинает ходить вертикально. При 256 слоях он осваивает акробатические приёмы и перепрыгивает стены. Авторы называют это первыми задокументированными похожими формами поведения в целеориентированном RL-подходе для гуманоидных сред.
В 8 из 10 протестированных задач масштабированный CRL опередил все другие целеориентированные RL-базовые методы. В самой сложной задаче улучшение по сравнению с обычной сетью превысило 1 000 раз.
Предыдущие работы в основном увеличивали ширину RL-сетей — число нейронов в слое. Исследователи показывают, что глубина — более эффективный параметр: удвоение глубины до 8 слоёв превзошло даже самые широкие сети при меньшем числе параметров. Классические методы RL в экспериментах команды почти не выигрывали от добавления слоёв, и самообучающийся характер CRL выглядит ключевым фактором.
Обратная сторона подхода — вычислительные затраты: более глубокие сети дольше обучаются. Кроме того, все результаты получены в симуляциях, и пока неясно, как хорошо метод переносится на существенно другие сценарии. В работе есть начальный тест на ранее не встречавшиеся комбинации целей, но масштабные проверки в разных условиях ещё не проведены. В офлайн-режиме, где агент больше не взаимодействует со средой, дополнительная глубина почти не даёт выигрыша. Код алгоритма выложен в открытый доступ.
Ещё в 2022 году исследователи из университета им. Гёте во Франкфурте показали, что законы масштабирования, знакомые по большим языковым моделям, могут работать и для алгоритмов RL вроде AlphaZero: качество агента росло по степенному закону с размером сети. Новая работа дополняет эти результаты и указывает, что в RL критическим параметром может быть именно глубина, а не только общий размер модели.
Источник: материалы исследовательской работы и публикация The Decoder.
