Исследователи из Google DeepMind, Anthropic и Германии предложили способ, который помогает ИИ лучше отражать человеческие представления о том, что они видят. В исследовании журнала Nature говорится, что ИИ, согласованные с человеческим восприятием, становятся более устойчивыми, делают меньше ошибок и лучше справляются с новыми задачами.
Глубокие нейросети могут хорошо справляться с визуальными задачами, но теряют точность в нестандартных ситуациях. По данным авторов, проблема в том, что люди строят иерархии визуальных понятий – от деталей к категориям, а ИИ фокусируется только на локальных сходствах и часто упускает абстрактные связи.
Это видно на примере: человек может объединить собаку и рыбу как “живых существ”, хотя они внешне не похожи. ИИ такой вывод сделать не способен. Уверенность ИИ в ответах тоже часто завышена по сравнению с их реальной точностью, в отличие от людей, которые обычно уверены настолько, насколько они правы.
Чтобы уменьшить разницу, команда Лукаса Муттенталлера создала систему AligNet. В ее основе лежит “модель-учитель”, доработанная версия SigLIP, обученная на человеческих оценках из набора THINGS.
Эта модель создает “псевдочеловеческие” оценки сходства для миллионов сгенерированных изображений ImageNet. Эти метки используются для дообучения других моделей, например, Vision Transformers (ViT) и DINOv2. После такой настройки модели стали чаще совпадать с человеческими суждениями, особенно при абстрактных сравнениях.
На новом наборе данных Levels, охватывающем разные уровни абстракции и включающем оценки 473 человек, дообученная AligNet-модель ViT-B превзошла средний уровень согласия между людьми.
Согласование с восприятием человека сделало модели не только более “человечными”. В тестах на универсальность и устойчивость точность AligNet-моделей местами удваивалась по сравнению с исходными версиями без переобучения.
На испытаниях типа BREEDS, где проверяется способность работать с новым типом данных, модели с AligNet показали более стабильный результат. На сложном наборе ImageNet-A точность выросла на 9,5 процентных пунктов. Также модели реалистичнее оценивали свою неуверенность – их оценки совпадали со временем реакции людей.
Внутренняя организация моделей тоже поменялась. Модели стали группировать объекты по смыслу, а не только по внешнему виду: ящерицы, например, “переехали” к животным, а не к растениям похожего цвета.
Авторы отмечают, что их метод может помочь создавать ИИ, которым легче доверять и итог работы которых проще понять. По мнению Муттенталлера и коллег, перенос человеческих структур сходства в фундаментальные модели может сделать ИИ устойчивее к новым ситуациям. Однако исследователи уточняют: делать модели полностью похожими на людей не нужно, ведь человеческое восприятие зависит и от личных, и от культурных особенностей.
Все данные и модели AligNet доступны для всех.
