Стартап Decart представил Lucy 2.0 — модель для трансформации видео в режиме реального времени. Система позволяет изменять прямую видеотрансляцию с частотой 30 кадров в секунду и разрешением 1080p почти без задержек.
Пользователь может заменять персонажей, размещать товары, менять одежду и полностью менять окружение прямо во время передачи видео. Все управляется через текстовые команды и примеры изображений.
В компании Decart отмечают, что Lucy 2.0 не использует карты глубины и 3D-модели. Модель понимает физику за счет обучающих паттернов из видео, а не графических конструкций. Для устойчивой работы применяется технология Smart History Augmentation, которая не допускает ухудшения качества изображения со временем. В Decart утверждают, что благодаря этому модель может работать стабильно в течение многих часов.
Система работает на чипах AWS Trainium3. Демоверсия доступна по адресу lucy.decart.ai.
