Китайская ByteDance запустила Seedance 2.0 для ограниченного круга пользователей. Первая версия уже считалась одной из самых сильных моделей для генерации видео с ИИ, новая делает шаг вперёд по качеству и возможностям.
Seedance 2.0 — мультимодальная модель, которая одновременно обрабатывает изображения, видео, аудио и текст. Пользователь может загрузить до 12 файлов: максимум девять изображений, три видео и три аудиодорожки. На выходе модель генерирует ролики длительностью от 4 до 15 секунд с автоматически подобранными звуковыми эффектами или музыкой.
Демонстрационные клипы, опубликованные ByteDance, выглядят впечатляюще, но это, вероятно, лучшие примеры из большого количества сгенерированных роликов. Пока неизвестно, насколько стабильно модель воспроизводит такой уровень качества в реальных сценариях, сколько будет стоить использование и сколько времени займёт генерация. Это создаёт барьеры для интеграции в профессиональные процессы, где важна предсказуемость результата.
Один из промптов для Seedance 2.0 описывает сцену погони: камера следует за мужчиной в чёрной одежде, который убегает от преследующей его толпы. Затем ракурс меняется на боковой, герой в панике опрокидывает придорожную фруктовую палатку, поднимается и продолжает бежать, а на фоне слышны возбуждённые крики толпы.
Другой пример: девушка элегантно развешивает бельё. Закончив с одной вещью, она достаёт следующую из ведра и энергично встряхивает её перед тем, как повесить.
По словам ByteDance, ключевое новшество Seedance 2.0 — работа по референсу. Модель может перенимать операторскую работу, движения камеры и спецэффекты из загруженных эталонных роликов, подменять персонажей и плавно продолжать уже существующие фрагменты. Также поддерживаются задачи видеомонтажа вроде замены или добавления героев в сцену.
Пользователь описывает задачу с помощью простых текстовых команд, например: «Возьми @image1 как первое изображение сцены. Первая перспектива. Возьми движение камеры из @Video1. Сцена выше основана на @Frame2, сцена слева на @Frame3, сцена справа на @Frame4».
В одном из примеров пользователь записывает движение камеры на видео, а затем ИИ переносит это движение в сгенерированный ролик, сочетая его с другими заданными элементами. Таким образом можно точно задавать траекторию камеры и композицию финального клипа.
Для соблюдения требований по безопасности и этике реалистичные человеческие лица в загружаемых материалах пока блокируются. Seedance 2.0 доступна только в статусе бета-версии на официальном сайте Jimeng по адресу jimeng.jianying.com.
В одном из промптов описана рекламная сцена: персонаж на картинке с виноватым выражением лица оглядывается по сторонам, затем наклоняется из рамки, быстро тянется за банкой колы, делает глоток и выглядит довольным. В этот момент слышны шаги, герой спешно ставит банку обратно. Кадр сменяется: проходит ковбой, забирает колу и уходит. Камера приближается, фон темнеет, в луче света остаётся только банка, а внизу появляется оформленный титр с закадровым голосом: «Yikou Cola — вы должны это попробовать!».
Выход Seedance 2.0 состоялся через несколько дней после того, как конкурент Kuaishou представил модель Kling 3.0, которая также поддерживает мультимодальный ввод и вывод. По данным South China Morning Post, запуск новых генеративных видеомоделей вызвал рост котировок китайских медиа- и ИИ-компаний на бирже — акции поднялись до 20%.
Источник: South China Morning Post, материалы ByteDance.
