Исследователи из Meta FAIR и Нью-Йоркского университета провели системное исследование того, как обучать мультимодальные модели ИИ с нуля. Их работа ставит под вопрос несколько распространённых представлений о том, как должны строиться такие системы.
Авторы статьи «Beyond Language Modeling» отмечают, что языковые модели задали тон эпохе базовых моделей, однако текст — это по сути сжатое с потерями представление реальности. Они сравнивают это с аллегорией Платона о пещере: языковые модели учатся описывать «тени на стене», не видя реальные объекты. Есть и практический аспект — качественных текстовых данных ограниченное количество, и они быстро исчерпываются.
В исследовании, в котором участвовал Ян ЛеКун до ухода из компании, описано обучение единой модели с нуля. Для текста используется стандартное пословное предсказание, для визуальных данных — диффузионный метод flow matching. Модель обучают на текстах, видео, парах «изображение–текст» и видеороликах с действиями. Модель не дообучают поверх готовой языковой модели, чтобы исключить влияние ранее заложенных знаний.
Ранее подходы вроде Janus или BAGEL применяли отдельные визуальные энкодеры для распознавания изображений и генерации картинок. Исследователи Meta показали, что такая раздельная схема не обязательна.
Согласно работе, автоэнкодер представлений (RAE), построенный на модели изображений SigLIP 2, превосходит традиционные VAE-энкодеры и в генерации, и в понимании изображений. Качество работы с текстом при этом сохраняется на уровне чисто текстовой модели.
Вместо двух независимых веток один энкодер обслуживает обе задачи, что заметно упрощает архитектуру. Это ставит под сомнение распространённое предположение, что зрение и язык неизбежно конкурируют внутри модели. Авторы показывают, что «сырое» видео без текстовых аннотаций не ухудшает языковые способности. На валидационном наборе модель, обученная на тексте и видео, немного обгоняет текстовую базу.
Обнаруженная небольшая деградация при обучении на парах «изображение–текст» объясняется не самим добавлением визуального канала, а расхождением распределений между обычным обучающим текстом и подписями к картинкам.
Важный результат связан с синергией различных типов данных. 20 млрд токенов данных по визуальному ответу на вопросы (VQA) в сочетании с 80 млрд токенов из видео, пар «изображение–текст» (MetaCLIP) или обычного текста дают лучшую модель, чем обучение на 100 млрд токенов только VQA.
Авторы также проверили, может ли модель предсказывать будущие визуальные состояния. Ей дают текущее изображение и навигационную инструкцию, после чего требуется выдать следующее визуальное состояние. Действия кодируются прямо в виде текста, поэтому архитектуру менять не пришлось.
По выводам исследователей, способность к моделированию окружающей среды формируется в основном за счёт общего мультимодального обучения, а не за счёт специализированных навигационных датасетов. Модель достигает конкурентного уровня, используя всего один процент специальных навигационных данных. Она способна следовать естественным текстовым инструкциям, вроде «Выйди из тени!», и генерировать соответствующие последовательности изображений, хотя такие запросы не встречались ей на этапе обучения.
Для архитектуры команда изучала подход Mixture-of-Experts (MoE), при котором каждый входной токен обрабатывается только подмножеством специализированных модулей сети, а не всей моделью целиком. Это снижает вычислительные затраты и позволяет повысить общую ёмкость сети.
Модель с общим размером 13,5 млрд параметров, из которых на один токен приходится лишь 1,5 млрд активных, по данным исследования, превосходит плотные модели и схемы с ручным разделением функций. Специализация формируется автоматически: значительно больше экспертов выделяется под обработку языка, чем под зрение. В ранних слоях доминируют текстовые эксперты, в более глубоких все больше проявляются визуальные и мультимодальные.
Отдельно отмечено, что при понимании и генерации изображений активируются одни и те же эксперты, причём коэффициент корреляции по всем слоям составляет не менее 0,90. Исследователи рассматривают это как подтверждение «горького урока» Ричарда Саттона: обучение на данных часто эффективнее ручного проектирования.
Авторы также рассматривают базовый компромисс при обучении моделей: как распределить фиксированный бюджет вычислений между размером модели и объёмом данных. Можно построить крупную модель и обучить на меньшем количестве данных либо наоборот. Законы масштабирования Chinchilla показывали, что для текстовых моделей оптимально примерно равномерно увеличивать и данные, и параметры.
Исследователи Meta впервые рассчитали аналогичные законы масштабирования для совместной модели «зрение–язык» и обнаружили существенную асимметрию. Для языка сохраняется знакомый баланс. Для визуального канала оптимум резко смещён в сторону данных: рост объёма обучающих изображений и видео даёт намного больший эффект, чем увеличение числа параметров.
По мере увеличения размеров модели растёт и разрыв в потребности в данных. По оценкам работы, если взять базовый уровень в 1 млрд параметров, при 100 млрд параметров потребность в визуальных данных растёт относительно языковых в 14 раз, а при 1 трлн параметров — в 51 раз. Масштабирование языка в этом диапазоне идёт куда плавнее. В плотных моделях, где каждый параметр активен на каждом шаге, решить такой дисбаланс почти невозможно.
Архитектура Mixture-of-Experts частично устраняет эту проблему. Поскольку на каждый токен срабатывает только часть экспертов, модель может иметь очень большое общее число параметров без пропорционального роста вычислительных затрат. Язык получает высокий параметрический ресурс, а зрение — большие объёмы данных, которые особенно важны для улучшения. По оценкам работы, использование MoE сокращает асимметрию масштабирования между текстом и визуальными данными примерно вдвое.
Исследователи подчёркивают, что их результаты касаются только этапа предобучения; задачи тонкой настройки и обучения с подкреплением не анализировались. Тем не менее они считают, что граница между мультимодальными моделями и моделями окружения становится всё более размытой. Большие массивы немаркированного видео по-прежнему почти не используются, и исследование показывает, что такие данные можно включать в обучение, не ухудшая языковые способности модели.
Источник: The Decoder, материалы Meta FAIR и Нью-Йоркского университета.
*Meta – запрещенная в РФ организация.
