Международная группа исследователей представила крупнейший на сегодня датасет для проверки рассуждений в видео. Новый набор данных примерно в 1000 раз больше предыдущих аналогов и показывает, что даже Sora 2 и Veo 3.1 сильно уступают человеку в задачах логики и понимания сцены.
До сих пор почти не изучалось, насколько видеомодели умеют решать головоломки, предсказывать физические траектории или сортировать объекты по правилам. Главная причина — отсутствие масштабных датасетов: прежние бенчмарки содержали в основном тесты, но не данные для обучения.
Консорциум из более чем 50 исследователей из 32 институтов, включая UC Berkeley, Stanford, Harvard и Оксфорд, попытался закрыть этот пробел. Их набор Very Big Video Reasoning (VBVR) включает свыше двух миллионов изображений и около миллиона видеоклипов, распределённых по 200 тщательно подобранным задачам. Девять уже существующих бенчмарков дают примерно 12 800 примеров, а VBVR впервые добавляет ещё 1 млн обучающих примеров.
Задачи основываются на теориях человеческого мышления — от когнитивных идей Аристотеля до категорий разума Канта. Авторы делят их на пять групп: абстракция, знания, восприятие, пространственные отношения и трансформация. Для каждой группы есть генератор параметризованных задач, который может создавать тысячи вариантов, при этом каждая задача имеет единственное решение и не может быть решена по одному статичному кадру.
Результаты на бенчмарке VBVR-Bench демонстрируют большой разрыв с человеком. Люди набирают 0,974 в среднем. Sora 2 от OpenAI, лучший закрытый сервис в исследовании, достигает лишь 0,546. Veo 3.1 от Google Deepmind показывает 0,480, Runway Gen-4 Turbo — 0,403, Kling 2.6 от Kuaishou — 0,369. Открытые модели Wan2.2, CogVideoX, HunyuanVideo и LTX-2 находятся в диапазоне от 0,273 до 0,371.
VBVR-Bench намеренно не использует языковую модель в роли «судьи». Поскольку в большинстве задач есть один правильный ответ, разработчики применяют правила для прямой оценки пространственной точности, корректности траекторий и логической связности. Они проверили эти автоматические метрики по сравнению с оценками людей и получили очень высокое статистическое совпадение.
Самый заметный результат связан с VBVR-Wan2.2 — дообученной версией модели Wan2.2. Её общий балл достигает 0,685, что на 84,6% выше базовой модели и превышает показатели всех закрытых систем в эксперименте.
Однако исследование масштабирования даёт более сложную картину. На знакомых типах задач качество растёт до 0,771 примерно при 400 000 обучающих примеров, а затем перестаёт улучшаться. На полностью новых типах задач модель выходит лишь на 0,610 — это всё равно на 15 процентных пунктов ниже. Авторы рассматривают это как фундаментальное ограничение текущих архитектур генерации видео и делают вывод, что просто увеличение объёма данных проблему не решает.
Качественный разбор, сравнивающий VBVR-Wan2.2 и Sora 2, приводит к важному выводу: если модель во время генерации свободно «переписывает» сцену — меняет фон, расположение объектов или их идентичность — промежуточные состояния становятся ненадёжными, и логика, основанная на таких состояниях, рушится.
Например, в задаче на удаление объекта Sora 2 после удаления лишнего предмета вносит дополнительные перестановки, хотя этого не требуется, тогда как VBVR-Wan2.2 выполняет только заданное действие. В задаче на вращение Sora 2 путает целевую область и объект, который нужно изменить. При этом VBVR-Wan2.2 демонстрирует появляющиеся способности, которых не было в обучении, например устойчивые стратегии решения задач на симметрию, хотя на длинных последовательностях всё ещё возникают мерцания и дублирование объектов.
Корреляционный анализ по всем моделям выявил интересные закономерности. Системы, которые хорошо справляются с задачами на знания, как правило, показывают высокие результаты и на пространственных задачах. Это согласуется с нейробиологическими данными о гиппокампе и его двойной роли в навигации и концептуальном обучении.
Обратная зависимость более неожиданна: высокий результат в задачах на знания сочетается со слабостью в задачах на восприятие. Способности к абстракции не демонстрируют положительной связи ни с одним другим навыком, а модели, которые сильны в абстрактных задачах, часто оказываются менее успешными в трансформациях и пространственном мышлении.
Полный датасет, инструменты бенчмарка и модели доступны публично на сайте video-reason.com. Исследователи подчёркивают, что для преодоления обнаруженного потолка качества нужны архитектурные улучшения, такие как явное хранение состояния и механизмы самокоррекции.
Ранее, в сентябре 2025 года, исследование с участием Google Deepmind показало, что видеомодель Google Veo 3 обладает широкими возможностями в режиме zero-shot: она умеет решать лабиринты, находить симметрии и моделировать физические связи без специального обучения для каждой задачи. Авторы рассматривали это как ранний признак того, что видеомодели могут стать универсальной основой компьютерного зрения, аналогично тому, как большие языковые модели уже служат базой для работы с текстом. Некоторые эксперты, включая CEO Deepmind Демиса Хассабиса, предполагают, что в будущем видеомодели могут стать фундаментом для так называемых world models.
Источник: исследовательский проект VBVR, материалы Google Deepmind, The Decoder.
