Исследователи из Народного университета Китая и исследовательского подразделения производителя смартфонов Oppo предложили новый подход к поиску по персональным фотоархивам. Вместо оценки отдельных изображений их система DeepImageSearch рассматривает поиск как задачу автономного исследования коллекции, когда модель шаг за шагом собирает контекст по разным фотографиям.
Поводом для работы стала типичная ситуация: человек помнит не сам кадр, а детали вокруг него — концерт, на котором видно только исполнителя, логотип у входа, другие сцены с того же события. Ключ к нужному снимку часто скрыт в другой фотографии, и на этом этапе стандартные системы поиска по изображениям дают сбой.
Современные мультимодальные поисковые модели рассматривают каждое изображение отдельно: соответствует ли оно запросу или нет. Такой подход работает, пока искомое фото визуально выделяется. Но если ответ зависит от связей между несколькими снимками, эти системы упираются в фундаментальное ограничение.
Чтобы показать масштаб разрыва между существующими технологиями и такими задачами, команда разработала бенчмарк DISBench. В него вошло 122 поисковых запроса по коллекциям 57 пользователей с более чем 109 000 изображений. Фотографии взяты из публичного датасета YFCC100M; в среднем на одного пользователя приходится 3,4 года снимков.
Запросы делятся на два типа. В первом случае нужно определить конкретное событие, а затем выбрать правильные снимки внутри него. Во втором — задача сложнее: модель должна найти повторяющиеся элементы через несколько событий и разнести их по времени или месту. В обоих сценариях отдельный снимок без контекста не даёт ответа.
Результаты базовых моделей эмбеддингов, таких как Qwen3-VL embedding и Seed 1.6 embedding, демонстрируют глубину проблемы. В топ-3 ответов только 10–14 % содержат хотя бы одно действительно искомое изображение. Авторы отмечают, что даже эти значения во многом объясняются случайными совпадениями.
В личных архивах часто встречаются визуально похожие кадры из разных ситуаций. Текущие модели «вылавливают» всё, что внешне похоже на запрос, но не могут проверить, соответствует ли снимок нужным контекстным условиям.
Для более корректной оценки исследователи создали фреймворк ImageSeeker. Он предоставляет мультимодальным моделям дополнительные инструменты: семантический поиск, доступ к временным меткам и GPS-данным, просмотр отдельных фото и веб-поиск неизвестных терминов. Две механики памяти помогают фиксировать промежуточные результаты и не терять нить при длинных цепочках действий.
Даже с таким набором средств улучшения ограничены. Лучшая протестированная модель, Claude Opus 4.5 от Anthropic, смогла полностью правильно находить целевой набор изображений примерно в 29 % запросов. GPT-5.2 от OpenAI показал около 13 %, а Gemini 3 Pro Preview от Google — порядка 25 %. Открытые модели Qwen3-VL и GLM-4.6V отработали ещё слабее. При этом на классических бенчмарках поиска по картинкам те же модели близки к максимуму.
Отдельный эксперимент показал потенциальный запас качества. Когда для каждого запроса запускали несколько параллельных попыток и затем выбирали лучший результат, точность выросла примерно на 70 %. Вывод авторов: модели в принципе способны решить такие задачи, но им не хватает устойчивости, чтобы регулярно находить верный ответ с первой попытки.
Ручной разбор ошибок показал, где модели «ломаются» чаще всего. Основной тип сбоя — ситуация, когда система находит нужный контекст, но слишком рано завершает поиск или перестаёт учитывать заданные ограничения. В исследовании это называют «срыв рассуждения»; на него приходится 36–50 % всех ошибок. На втором месте с большим отрывом — путаница визуально похожих объектов или зданий.
Анализ работы отдельных инструментов в ImageSeeker подтверждает эти выводы. Наибольшее влияние на качество оказывают инструменты для работы с метаданными. Без доступа к временным меткам и данным о местоположении точность падает сильнее всего. Для различения похожих изображений из разных ситуаций ключевой фактор — временной и пространственный контекст.
Авторы рассматривают свой бенчмарк как тест для нового поколения поисковых систем. Пока ИИ-модели умеют оценивать только изолированные кадры, сложные запросы к персональным фотоархивам останутся нерешёнными. DeepImageSearch показывает, что моделям важнее лучше планировать поиск, отслеживать ограничения и управлять промежуточными результатами, чем просто точнее распознавать содержимое кадра. Код и датасет доступны публично вместе с таблицей лидеров.
Исследование также фиксирует у моделей по картинкам эффект, похожий на «lost in the middle», ранее описанный для текста: визуальная информация в начале и конце набора данных получает больше внимания, чем в середине. Чем больше коллекция и шире контекстное окно, тем сильнее этот эффект, поэтому качественная настройка контекста играет решающую роль.
Источник: The Decoder.
