Стартап GenAI представил MirageLSD — AI-модель для видео, которая меняет изображение в прямом эфире в реальном времени. Система решает сразу две проблемы ранее существовавших AI-видеотехнологий: долгую обработку и резкое ухудшение качества картинки с течением времени.
Обычные AI-модели часто выдают короткие ролики по 5–10 секунд и далее теряют качество изображения. MirageLSD создает каждый кадр отдельно, а не сразу всю последовательность.
Система использует небольшое окно недавних кадров, текущий входящий видеопоток и запрос пользователя, чтобы построить следующий кадр во время трансляции. Каждый новый кадр тут же идет на вход следующему вычислению — из-за этого модель быстро реагирует на изменения в видео и позволяет трансформировать потоковое видео без задержек (до 20 кадров в секунду при 768 х 432 пикселях).
Для стабильного качества при длительной работе Decart применяет два подхода. Первый — “diffusion forcing”: моделям специально добавляют шум на каждом кадре и обучают их убирать артефакты отдельно, не полагаясь на предыдущие данные. Это помогает не копить ошибки с каждым новым кадром.
Второй подход — “history augmentation”. Модели на этапе обучения показывают испорченные или искаженные кадры, чтобы она училась замечать и исправлять типичные ошибки, а не просто переносить их дальше по цепочке.
MirageLSD оптимизирована для видеокарт Nvidia Hopper. С помощью “architecture-aware pruning” разработчики убрали всё лишнее из архитектуры модели для ускорения и экономии ресурсов. Технология “shortcut distillation” помогает маленьким моделям копировать результаты больших — это дало 16-кратный прирост производительности. Теперь кадр обрабатывается менее чем за 40 миллисекунд — зритель не заметит задержки.
У модели есть ограничения: она анализирует только ограниченное число недавних кадров, так что при долгих видео качество стабильности может снижаться. Также пока модель плохо справляется с быстрыми сменами стилями и точным контролем отдельных объектов.
Вместе с MirageLSD Decart запустила платформу Mirage — уже доступна веб-версия, приложения для iOS и Android выйдут позже. Решение ориентировано на стриминг, видеозвонки и игры. В ближайшие месяцы компания обещает добавить улучшенное распознавание лиц, голосовое управление и более точный контроль объектов.
MirageLSD — вторая AI-модель Decart после проекта Oasis для Minecraft. Разработка заняла примерно полгода. Конкуренты вроде StreamDiT тоже умеют работать интерактивно (до 16 кадров в секунду), но пока проигрывают лучшим решениям — например, Veo 3 от Google, — по качеству изображения.
