Пользователи ГигаЧата получили возможность создавать видео с синхронным звуком с помощью новой модели Сбера Kandinsky 6.0 Video. Об этом изданию Russian Business сообщили в пресс-службе компании.
Нейросеть генерирует ролики с речью, музыкой и звуками окружения. Для создания видео достаточно описать сцену текстом или загрузить первый кадр и указать, какой звук должен сопровождать ролик.
Kandinsky 6.0 Video одновременно обрабатывает визуальную и звуковую части ролика. За счёт этого речь совпадает с движением губ, а музыка и звуки соответствуют происходящему в кадре. При необходимости можно создать видео без звука.
Модель умеет генерировать разные типы аудио: диалоги, музыкальное сопровождение и звуки окружения, включая шаги, ветер и проезжающий автомобиль. Звук создаётся с частотой 44 кГц, которую используют большинство стриминговых сервисов.
По информации компании, модель стала точнее передавать физику реального мира. Движения людей, животных и техники выглядят естественнее, в том числе в динамичных сценах.
Максимальная продолжительность видео со звуком сейчас составляет пять секунд. В будущем Сбер планирует увеличить этот показатель.
Kandinsky 6.0 Video доступна разработчикам в открытом виде по лицензии MIT. Модель можно бесплатно интегрировать в собственные продукты.
Старший вице-президент Сбербанка и руководитель блока «Развитие генеративного ИИ» Антон Фролов заявил, что компания рассчитывает сделать генеративный ИИ инструментом для создания контента также и для обычных пользователей.
«Любой человек получает возможность снимать более выразительные личные видео. А для профессионального контента это означает более быстрое и выгодное производство», — заявил Антон Фролов.
По данным Сбера, Kandinsky 6.0 Video Pro точнее предыдущей модели следует заданному сценарию и лучше передаёт движение камеры. Новая версия превосходит Kandinsky 5.0 в среднем в 71% случаев по совокупности критериев.
Kandinsky 6.0 Video состоит из двух связанных модулей — для генерации видео и звука. Звуковой модуль обучали более чем на 20 млн видео со звуком.
Для обучения отбирали ролики с чистой аудиодорожкой, а также видео с крупными планами говорящих людей. Это было нужно, чтобы улучшить синхронизацию речи и мимики.
Источник: Russian Business, Сбер.
