Современные ИИ-системы, в том числе GPT-4o, слабо справляются с неожиданностями и редко меняют свое первое мнение, показало исследование Университета Британской Колумбии, Vector Institute for AI и Наньянского технологического университета. Для проверки использовали более 1600 роликов из YouTube с неудачами из набора Oops!.
Авторы разработали оценочный тест BlackSwanSuite, чтобы понять, как ИИ реагирует на внезапные события. Как и люди, ИИ легко обманывается неожиданными моментами, но в отличие от людей, не пересматривает выводы даже после полной информации. Например, если в ролике мужчина размахивает подушкой возле елки, ИИ считает, что цель — человек, хотя на самом деле подушка сбивает игрушки, и они падают на женщину. Даже увидев полностью, система не меняет свой изначальный ответ.
Большинство видео касаются ДТП (24%), детских происшествий (24%) и несчастных случаев у бассейна (16%). В каждом есть неожиданный поворот, который сложно предугадать даже людям.
Видео разбиваются на три части: ввод, неожиданность и последствия. Тест включает три задания:
- Forecaster — ИИ видит только начало и предсказывает развитие событий;
- Detective — анализирует только начало и финал, объясняя, что случилось между;
- Reporter — получает все видео и должен скорректировать выводы после просмотра всей истории.
В исследовании участвовали закрытые модели (GPT-4o, Gemini 1.5 Pro) и открытые (LLaVA-Video, VILA, VideoChat2, VideoLLaMA 2). На задании Detective GPT-4o дал правильный ответ только в 65% случаев, люди справились на 90%. Если нужно было изменить первоначальное мнение после просмотра ролика полностью, GPT-4o оказался прав только в 60% случаев против 92% у людей. Модели чаще всего “упирались” в свой первый вариант и не учитывали новые факты. Аналогично вели себя Gemini 1.5 Pro и LLaVA-Video.
Главная причина — способ обучения этих ИИ. Они выявляют шаблоны в миллионах роликов и ждут, что события будут развиваться по этим шаблонам. Если в видео мусоровоз роняет дерево, а не подбирает мусор, как обычно, ИИ теряется.
Для проверки этой проблемы исследователи подменили восприятие видео у LLaVA-Video на подробные описания сцен, написанные человеком. Точность выросла на 6,4%. Еще больше объяснений — дополнительный прирост на 3,6%. Итоговый рост — 10%. Сами исследователи так это объясняют: «ИИ справляется только тогда, когда всю основную работу по восприятию делают люди, а не он сам». Это показывает слабое место современных ИИ-моделей — им сложно “увидеть” и “понять” ситуацию до рассуждений.
Люди, в отличие от ИИ, быстро корректируют свои суждения при появлении новых данных. ИИ так делать не умеет. Эта проблема опасна для таких задач, как автопилот или беспилотные системы, где невозможность быстро отреагировать на неожиданность может привести к тяжелым последствиям. Жизнь полна сюрпризов: на улицу может выбежать ребенок или с грузовика может упасть предмет.
Benchmark для тестирования доступен на Github и Hugging Face. Исследователи надеются, что их тест поможет найти и устранить слабые места других моделей. Пока ИИ ошибается в простых ситуациях из fail-роликов, его нельзя использовать в по-настоящему неожиданных условиях.
