Новое исследование показало, что люди могут считывать время с аналоговых часов с точностью 89,1%, а лучший ИИ справляется только в 13,3% случаев. Этот результат говорит о большой разнице в визуальном восприятии между человеком и языковыми моделями.
Исследователь Алек Сафар сравнил 11 крупных языковых моделей от шести компаний и пятерых людей с помощью нового теста ClockBench. В основе теста — 180 уникальных циферблатов и 720 вопросов. Для чистоты эксперимента данные были созданы с нуля: циферблаты отличались цифрами (римские/арабские), расположением, разметкой, зеркальными вариантами и яркими фонами. Для каждого типа сделали по пять версий, всего 180 часов.
На каждом изображении ИИ и люди отвечали на четыре типа вопросов: назвать время, вычислить разницу, повернуть стрелки на заданный угол и перевести время в другой часовой пояс. Уровень допустимой ошибки зависел от вида часов. Например, если есть только часовая стрелка — допустимая погрешность больше.
Сафар отмечает: «ClockBench сложнее для моделей ИИ, чем тесты, требующие знаний, такие как Humanity’s Last Exam». Эксперимент показал, что даже простая визуальная задача сильно трудна для современных моделей.
Лучше всех на тесте выступил Google Gemini 2.5 Pro — 13,3%. Ближайший результат — Gemini 2.5 Flash (10,5%). GPT-5 набрал 8,4%. Попытки увеличить «лимиты рассуждений» почти не помогли. Хуже всего оказалась модель Grok 4 (0,7%): она пометила 63,3% часов как неправильные, хотя реально ошибочными были только 37 из 180. Такой подход дал случайное преимущество — модель часто выбирала «инвалид» вместо ответа.
Anthropic Claude 4 Sonnet (4,2%) и Claude 4.1 Opus (5,6%) показали чуть лучшие показатели. 61,7% часов не был правильно прочитан ни одной из моделей.
Размер ошибок оказался ещё показательнее процентов. У людей медиана ошибки — 3 минуты. У лучшего ИИ — час. У худших моделей погрешность — три часа, то есть примерно как случайное угадывание.
Некоторые особенности циферблатов создавали ИИ наибольшие сложности: с римскими цифрами точность падала до 3,2%, с круглыми цифрами — до 4,5%. Цветные фоны, зеркальные разметки, наличие секундных стрелок также мешали.
Проще всего было тем часам, где только часовая стрелка — 23,6% точности у ИИ (здесь позволяется большая ошибка). Классические часы с арабскими цифрами и простым дизайном тоже были легче.
Интересно, что если модель смогла правильно сосчитать время, то обычно она успешно справлялась с задачами на вычисления: прибавить время, повернуть стрелку, перевести в другой пояс. Значит, главная сложность — именно визуальное восприятие, не математика.
Сафар считает, что это объясняется сложностями визуального понимания: чтение аналоговых часов — действительно трудная задача для ИИ. Необычные дизайны встречаются редко в тренировочных данных, а преобразовать картинку часов в текст непросто для современных систем.
ClockBench пока планируют использовать как долгосрочный тест. Полная база остаётся закрытой для защиты чистоты тестирования, но урезанная версия доступна публично для желающих проверить свои модели.
Тем не менее, Сафар видит и положительный момент: “Лучшие модели всё же работают лучше, чем случайный выбор, и показывают базовые навыки визуального понимания. Остаётся вопрос: помогут ли масштабирование или нужны совершенно новые подходы?”
Раньше китайское исследование уже указывало на слабые места мультимодальных моделей, но тогда GPT-4o показал на аналогичных задачах 54,8%. Новый тест ClockBench сложнее — 13,3% максимум, и здесь прогресса почти нет.
