Исследователи представили модель Helios — видеогенератор на 14 млрд параметров, который достигает скорости 19,5 кадра в секунду на одной GPU и способен создавать минутные ролики. Код и веса модели выложены в открытый доступ.
Большинство современных моделей видео генерируют лишь 5–10-секундные клипы и тратят на это минуты. Подходы к генерации длинных роликов в реальном времени опираются на небольшие модели с 1,3 млрд параметров, которые страдают от низкого качества. Более крупные системы, такие как Krea-RealTime-14B, достигают лишь 6,7 FPS на H100 и дают заметные артефакты дрейфа.
Helios создан на базе модели Wan-2.1-14B, которой требуется около 50 минут, чтобы сгенерировать пять секунд видео на A100. Обучение Helios проходит в три этапа: Helios-Base (архитектура и борьба с дрейфом), Helios-Mid (сжатие токенов, 1,05 FPS) и Helios-Distilled, где скорость максимизируется за счёт сокращения вычислений до трёх шагов.
В разработческих бенчмарках дистиллированная версия Helios показывает 19,53 FPS, опережая даже некоторые существенно более компактные дистиллированные модели. Например, SANA Video Long с 2 млрд параметров, что примерно в семь раз меньше, выдаёт лишь 13,24 FPS.
По качеству видео Helios набирает 6,00 балла для коротких роликов (81 кадр). Авторы утверждают, что модель опережает все дистиллированные аналоги и сопоставима с большинством базовых моделей сопоставимого размера. Для длинных видео Helios получила 6,94 балла, немного обогнав предыдущего лидера Reward Forcing с результатом 6,88. Результаты подтверждает пользовательское исследование с участием 200 человек.
Длинные сгенерированные ролики обычно теряют качество, стабильность цвета и связанность сюжета по ходу времени. Ранее эти проблемы пытались решать сложными методами вроде self-forcing, когда модель во время обучения подаёт себе на вход собственный вывод, уменьшая разрыв между обучением и использованием. Helios отказывается от таких схем.
Авторы выделяют три характерных типа дрейфа и предлагают более простые решения. Относительное позиционное кодирование не даёт модели выходить на неизвестные позиции в длинных видео, что предотвращает повторяющиеся движения. Якорь первого кадра постоянно хранит начальный кадр в памяти и задаёт визуальную опору, уменьшая риск смещения цветов. Дополнительно применяется специальная симуляция возмущений во время обучения, которая делает модель устойчивее к накоплению собственных ошибок.
Helios использует единую архитектуру, которая поддерживает text-to-video, image-to-video и video-to-video в одном фреймворке. Модель автоматически выбирает режим работы по содержимому контекста.
Если контекст пуст, модель генерирует видео по текстовому описанию. Если в контексте есть только последний кадр, Helios работает как аниматор изображения. Если доступны несколько кадров, модель продолжает уже существующий ролик. Пользователь может менять текстовый запрос в процессе генерации; плавный кроссфейд между старым и новым запросом сглаживает резкие визуальные переходы.
Модель обучалась в три этапа на 800 000 коротких видеоклипов длительностью до 10 секунд. Максимальное разрешение сейчас составляет 384×640 пикселей, а артефакты мерцания всё ещё возникают на границах сегментов. Поскольку открытых бенчмарков для долгих видео в реальном времени не существует, исследователи создали собственный набор тестов HeliosBench из 240 текстовых запросов.
Helios достигает заявленной скорости без распространённых ускоряющих приёмов вроде KV-кэша, разреженного внимания и квантизации. Вместо этого модель активно сжимает входные данные на двух уровнях.
Иерархическая память делит историю видео на три временных масштаба. Последние кадры сжимаются слабее, более давние — сильнее. Это сокращает количество токенов для обработки примерно в восемь раз.
Многоступенчатый процесс семплирования уменьшает число токенов для генерируемого сегмента ещё в 2,29 раза. На ранних шагах используется пониженное разрешение, а детали добавляются в более поздних шагах. В совокупности эти приёмы снижают вычислительные затраты до уровня, сопоставимого с генерацией одного изображения.
Отдельная методика дистилляции уменьшает число нужных шагов генерации для каждого видеосегмента с 50 до 3. В отличие от прежних подходов, Helios использует в качестве контекста только реальные видеоданные и генерирует по одному сегменту на шаг обучения. Дополнительная состязательная цель, похожая на GAN, помогает повысить качество сверх уровня учителя.
Сжатие токенов позволяет проводить первые два этапа обучения Helios на одной GPU. Третий этап требует четыре полных экземпляра модели, работающих одновременно, но они укладываются в 80 ГБ видеопамяти за счёт оптимизации потребления памяти. По словам исследователей, специальные вычислительные ядра для базовых операций ускоряют обучение и вывод примерно на 14% по сравнению со стандартной реализацией.
Helios доступна как модель с открытыми весами на GitHub и Hugging Face, где размещена и интерактивная демо-версия. Примеры сгенерированных роликов опубликованы на странице проекта. Авторы подчёркивают, что проект предназначен исключительно для исследований и не планируется к интеграции в продукты Bytedance.
Ранее Bytedance представила Seedance 2.0 — мультимодальную модель для генерации видео, которая обрабатывает изображения, ролики, аудио и текст одновременно. Seedance требует гораздо больше вычислительных ресурсов и ограничена 15-секундными клипами, но демонстрирует значительно более высокое визуальное качество. Этот уровень реалистичности вызвал обеспокоенность в Голливуде из-за риска масштабных нарушений авторских прав.
Источник: The Decoder.
