Исследователи из Университета Цинхуа представили WorldReasonBench — новый бенчмарк для оценки видеогенераторов по качеству рассуждений, а не по визуальной реалистичности. Его задача — проверить, может ли модель продолжить сцену так, чтобы результат соответствовал физике, логике, социальным правилам и данным в кадре.
Авторы работы отмечают, что современные системы вроде Sora 2, Seedance 2.0 и Veo 3.1 уже создают убедительные ролики, но это не означает, что они понимают причинно-следственные связи. Например, модель может правдоподобно показать падение яблока с ветки, но ошибиться в самом движении: яблоко может полететь вверх, лопнуть как шар или двигаться по неверной траектории.
WorldReasonBench включает около 400 тестов в четырех категориях:
- знание о реальности: физика, погода, культурные нормы;
- сцены с участием людей: обращение с предметами и социальное взаимодействие;
- логические задачи: математика, геометрия, научные эксперименты;
- задачи на работу с информацией: чтение данных, таблиц и схем.
Оценка проходит в два этапа. Сначала метод с учетом процесса проверяет по структурированным вопросам, пришло ли видео к правильному результату и был ли путь к нему правдоподобным. Затем отдельная проверка оценивает качество рассуждений, временную согласованность и визуальную часть.
Вместе с бенчмарком команда также выпустила WorldRewardBench — набор данных примерно из 6 тысяч попарных сравнений видео, которые ранжировали обученные аннотаторы.
Авторы протестировали пять коммерческих систем — Sora 2, Kling, Wan 2.6, Seedance 2.0 и Veo 3.1-Fast — и шесть open-source моделей: LTX 2.3, Wan 2.2-14B, UniVideo, HunyuanVideo 1.5, Cosmos-Predict 2.5 и LongCat-Video. По основному показателю рассуждений коммерческие модели набрали примерно вдвое больше, чем open-source аналоги, без статистического пересечения между группами.
Лучший результат показала ByteDance Seedance 2.0. Модель занимала первое место почти в девяти из десяти статистических пересчетов. Veo 3.1-Fast лучше всех справилась с задачами на знание о реальности, а Sora 2 — со сценами, связанными с действиями людей. В оценках пользователей Seedance 2.0 также обошла Veo 3.1-Fast, Kling и Wan 2.6.
При этом общая проблема у всех моделей одна: логические задачи оказались самой трудной категорией. Даже лучшие коммерческие системы здесь заметно отстают от собственных средних показателей, а большинство open-source моделей почти полностью проваливают этот тип тестов.
Второй по трудности категорией стали задачи на работу с информацией, особенно если нужно точно сохранять текст и числа или сочетать это с физически правдоподобным развитием сцены.
В исследовании также предложен показатель, который отслеживает, какая доля правильных ответов получается за счет динамических, процессных этапов, а не по отдельным статичным кадрам. По нему коммерческие модели тоже заметно впереди. Это, по мнению авторов, указывает на главный разрыв: проблема open-source систем связана не столько с картинкой, сколько с пониманием причин и следствий.
Исследователи также заметили, что при более подробных промптах с пошаговым описанием ожидаемого результата open-source модели улучшаются сильнее всего. Это говорит о большей зависимости таких систем от качества запроса по сравнению с коммерческими решениями.
Для проверки методики команда сопоставила свои метрики с результатами человеческих сравнений видео. Основной показатель хорошо совпал с оценками людей и заметно превзошел традиционные ИИ-судьи, которые сравнивают ролики попарно.
Вывод авторов совпадает с другими недавними работами: несмотря на рост качества изображения, длины роликов и управляемости генерации, переход от генератора пикселей к полноценной модели реальности пока не произошел. По их мнению, дальнейший прогресс будет зависеть скорее от понимания причинных механизмов и сохранения информации во времени, чем от внешней полировки видео.
Бенчмарк, данные и код опубликованы на GitHub.
В материале также упоминается, что международная группа исследователей недавно пришла к схожему выводу: Sora 2 и Veo 3.1 заметно уступают человеку в задачах на рассуждение. Вопрос о том, можно ли вообще считать видеогенераторы «моделями реальности», остается предметом споров. Ян Лекун из Meta считает системы вроде Sora тупиковой веткой, тогда как глава DeepMind Демис Хассабис рассматривает Google Veo как шаг к такой модели. OpenAI закрыла Sora как коммерческий видеогенератор, но сохранила команду для работы над исследованиями моделей реальности. В предложенном определении OpenWorldLib чистые text-to-video системы прямо исключаются из этой категории.
Источник: The Decoder.
*Организация Meta (владелец Facebook и Instagram) признана экстремистской организацией и ее деятельность запрещена на территории России.
