Журналист TechCrunch протестировал создание собственного цифрового аватара в стартапе Synthesia, который разрабатывает ИИ-аватары для видео и интерактивных сценариев.
Поводом стал опыт общения с главой корпоративных коммуникаций компании Александру Войкой. Летом он отправил журналисту ссылку на своего интерактивного виртуального двойника, обученного отвечать на типовые вопросы прессы о Synthesia: чем занимается компания и как работает её технология.
В сентябре Synthesia пригласила TechCrunch в новый офис в Нью-Йорке. Компания, основанная в Великобритании, считается одним из заметных игроков на рынке цифровых аватаров наряду с D-ID, HeyGen и Colossyan.
Ранее в этом году Synthesia сообщила об оценке в 4 млрд долларов. В прошлом году компания также заявляла, что превысила 100 млн долларов ARR — годовой повторяющейся выручки.
Synthesia предлагает корпоративным клиентам сервис для создания обучающих видео с ИИ-аватарами. Недавно компания также запустила продукт Roleplay Sessions, в котором сотрудники могут отрабатывать, например, коммерческие презентации с интерактивным аватаром, получая ответ и оценку.
Во время визита в нью-йоркский офис журналисту предложили создать собственного ИИ-аватара. Для этого в мини-студии внутри офиса сделали серию снимков и записали двухминутный образец голоса. Создание аватара потребовало отдельного согласия.
В результате команда Synthesia подготовила несколько версий цифрового двойника: персональные аватары, которые просто озвучивают заданный сценарий, и интерактивные аватары, которые могут слушать и отвечать. Обе версии сделали в вариантах с очками и без них.
Для обучения интерактивного аватара выбрали статью журналиста о том, почему стартапы с венчурным финансированием чаще совершают мошенничество, чем компании без такого капитала. Этот аватар обучили отвечать только по теме материала.
По данным TechCrunch, интерактивный аватар работает на связке нескольких моделей:
- voice-to-text — переводит речь пользователя в текст;
- языковая модель агентного типа — интерпретирует текст и выбирает действие;
- text-to-voice — превращает ответ в аудио;
- видеомодель Synthesia — анимирует лицо и речь аватара.
В технологический стек вошли собственные видеомодели и голосовые модели Synthesia. При этом клиентам доступен выбор и других поставщиков, включая Cartesia, ElevenLabs, Google и OpenAI.
Компании-клиенты также могут размещать своих аватаров в выбранном облаке или оплачивать хостинг у Synthesia. На создание аватаров журналиста у команды ушло несколько дней.
Synthesia описывает три основные продуктовые линии:
- платформа для создания и распространения видео с классическими аватарами, которые озвучивают готовый текст;
- агентная платформа Sessions для опросов и ролевых сценариев с аватарами;
- API-платформа для сборки интерактивных аватаров и других сервисов на базе видео- и голосовых моделей компании.
Персональный аватар журналиста озвучил короткий текст о наступлении осени в Нью-Йорке. По его оценке, голос получился довольно точным, без хрипоты, которая была во время записи исходного образца.
Интерактивная версия вела себя иначе. Она была детерминированной, то есть отвечала лишь в пределах материала, на котором её обучили. Когда ей задавали вопросы о жизни журналиста, прошлой работе или районе Нью-Йорка, она каждый раз возвращала разговор к статье о венчурном мошенничестве.
Друзья журналиста назвали результат одновременно интересным и жутковатым. Они посчитали, что голос не слишком похож на оригинал, а сходство лица уступает персональному аватару, хотя всё равно остаётся достаточно близким.
Мать журналиста после теста назвала результат «amazing». Позже она пошутила: «I don’t remember giving birth to two of you».
Этот опыт заставил автора задуматься о будущем журналистики. В материале поднимается вопрос, готовы ли зрители получать новости от аватара, и может ли цифровой двойник журналиста дополнять его работу или в каких-то сценариях заменять человека.
Автор отмечает, что в журналистике ключевую роль играет доверие, и эту часть работы, по его мнению, вряд ли можно передать ИИ. При этом за пределами редакционной работы идея цифрового клона может быть привлекательной: такой помощник способен оставаться на связи и отвечать на вопросы, пока человек в отпуске.
Журналист также пишет, что недетерминированные цифровые двойники, связанные с чат-ботами, могут вызывать более сильный психологический эффект, чем ограниченные версии, которые отвечают только в заданных рамках.
В финале материала автор делает вывод, что относится к цифровым аватарам с двойственными чувствами. После первого интереса остаётся ощущение технологической новизны и одновременно некоторой тревоги от почти живого цифрового собеседника.
Источник: TechCrunch.
*Организация Meta (владелец Facebook и Instagram) признана экстремистской организацией и ее деятельность запрещена на территории России.
