Исследователи Meta* и Калифорнийского университета в Беркли создали StreamDiT — ИИ-систему, которая формирует стриминговое видео по текстовому описанию в реальном времени. Она генерирует видео с частотой 16 кадров в секунду и разрешением 512p, используя всего одну мощную видеокарту и модель на 4 миллиарда параметров.
В отличие от других методов, StreamDiT создает потоковое видео покадрово во время воспроизведения, а не заранее. Команда показала, что система выдает ролики длительностью до минуты, мгновенно реагирует на пользовательские запросы и даже может редактировать видео в реальном времени — например, заменив свинью на кошку без изменения фона.
StreamDiT построен на специальной архитектуре, оптимизированной для скорости. Используется движущийся буфер: система обрабатывает несколько кадров одновременно, работая над новым кадром и выводя предыдущий. Каждый новый кадр начинается с “шума” и дорабатывается до готового состояния. В статье говорится: «На генерацию двух кадров уходит около полусекунды, после чего есть восемь готовых изображений».
Модель обучалась сразу несколькими методами, используя 3 000 качественных роликов и датасет из 2,6 миллиона видео. Обучение проводилось на 128 видеокартах Nvidia H100. Лучшие результаты показала смесь фрагментов разной длины — от 1 до 16 кадров.
Для ускорения работы команда снизила количество вычислительных шагов с 128 до 8, почти не потеряв в качестве изображения. Архитектура также построена так, чтобы обмениваться информацией только между соседними областями кадра, а не по всему изображению.
При сравнении с другими ИИ-методами, например ReuseDiffuse и FIFO diffusion, StreamDiT показал более плавную и естественную динамику движения независимо от сложности сцены. Другие системы обычно создавали более статические ролики.
Эксперты оценивали плавность движения, целостность анимации, согласованность между кадрами и общее качество. Во всех категориях StreamDiT занял первое место для 8-секундных видео в 512p.
Разработчики также проверили модель на 30 миллиардов параметров — качество заметно выросло, но такая версия пока не тянет генерацию в реальном времени. По мнению авторов, подход можно масштабировать на более крупные модели.
Из важных ограничений: StreamDiT пока слабо «помнит» предыдущие эпизоды ролика и иногда немного заметны стыки между отрезками. В статье отмечают, что работа над этими моментами продолжается.
По информации the-decoder.com, и другие компании тестируют генерацию видео в реальном времени. Например, Odyssey предложили модель, меняющую каждый кадр по командам пользователя для более интерактивных сервисов.
*Meta – запрещенная в РФ организация.
