Исследователи представили LPM 1.0 — ИИ-модель, которая генерирует видео говорящего, слушающего или поющего персонажа в реальном времени по одному изображению.
Система одновременно обрабатывает текст, аудио и опорные изображения. На выходе она создаёт синхронную с речью артикуляцию, мимику, движения взгляда и эмоциональные переходы. Модель можно подключать к голосовым ИИ-сервисам, включая ChatGPT и Doubao, чтобы получить визуального собеседника в реальном времени.
LPM 1.0 работает с разными стилями изображений: фотореалистичными лицами, аниме и 3D-персонажами из игр. Для этого не требуется дополнительное обучение. Генерация идёт как потоковый процесс в реальном времени, а не как предварительный рендер готового ролика. По данным исследователей, видео длиной до 45 минут должно сохранять стабильность.
В модели используется метод, который авторы называют multi-granularity identity conditioning. Помимо основного изображения, система получает дополнительные кадры с других ракурсов и с разной мимикой. За счёт этого модель может брать детали вроде зубов, морщин при разных эмоциях или профиля лица из опорных материалов, а не генерировать их с нуля.
LPM 1.0 распознаёт три состояния диалога:
- в режиме слушания модель создаёт реактивную мимику, например кивки и движения взгляда, на основе входящего аудио;
- в режиме речи аудиоответ управляет движением губ и языка тела;
- во время пауз система генерирует естественное поведение персонажа по текстовым инструкциям.
Помимо живого общения, LPM 1.0 поддерживает офлайн-генерацию видео по готовому аудио. По словам руководителя проекта Айлин Зенг, это может быть полезно для подкастов или диалогов в фильмах. Управления через видео на входе в этой версии нет, но Зенг отмечает, что архитектура может поддержать такую функцию в будущем.
Команда подчёркивает, что LPM 1.0 — исследовательский проект. Публиковать веса модели, исходный код или публичную демоверсию разработчики не планируют. Все лица в примерах сгенерированы ИИ, а не взяты у реальных людей.
Исследователи также признают, что в видео всё ещё заметны артефакты. Количественный анализ подтвердил заметный разрыв между качеством генерации и настоящим видео.
Команда заявила, что может рассмотреть открытие доступа только «если и когда будут надёжно внедрены достаточные меры защиты и правила ответственного использования». Подробности опубликованы на странице проекта и в техническом отчёте.
Авторы считают, что даже в статусе исследовательской работы LPM 1.0 показывает, куда движутся такие системы: от текстового и голосового общения к визуально убедительным персонажам с мимикой, зрительным контактом и эмоциональными реакциями. Такие инструменты могут найти применение в образовании, играх, клиентском сервисе и виртуальных помощниках.
При этом технология несёт серьёзные риски. Она приближает рынок к инфраструктуре дипфейков в реальном времени, которую злоумышленники могут использовать для мошенничества, манипуляций и выдачи себя за других людей. Исследователи отдельно подчёркивают, что система не предназначена для введения в заблуждение, обмана или имитации реальных людей.
Источник: The Decoder.
