Исследователи из Университета Цинхуа и других организаций представили модель Count Anything для подсчёта объектов на изображениях разных типов. Система должна работать с повседневными фото, спутниковыми снимками, медицинскими сканами, микроскопическими изображениями и лабораторными кадрами без отдельной настройки под каждый сценарий.
Задача подсчёта объектов остаётся трудной даже для современных мультимодальных ИИ-систем, хотя они уже умеют описывать изображения, читать текст на фото и разбирать графики. Точный подсчёт важен в медицине, сельском хозяйстве и городском планировании, где ошибка влияет на практические решения.
По описанию авторов, модель принимает текстовый запрос, отмечает все найденные объекты на изображении и считает их. Это должно помочь в случаях, где специализированные решения обычно работают только с одним типом данных, например с толпой людей, клетками под микроскопом или машинами на снимках сверху.
В основе Count Anything — сочетание двух методов подсчёта. Первый лучше работает с крупными и хорошо различимыми объектами и выделяет их рамками. Второй подходит для мелких и плотно расположенных объектов, отмечая каждую цель точкой.
Затем обе группы предсказаний объединяются. Чтобы один и тот же объект не был посчитан дважды, используется простое правило: если обе подсистемы указывают на одну цель, сохраняется вариант с более высокой уверенностью.
Система построена на базе предобученной модели SAM3 от Meta, которая умеет обрабатывать изображения и текст вместе. Для задачи подсчёта исследователи добавили небольшие адаптеры, а не переобучали всю модель с нуля.
Для обучения авторы также собрали новый датасет CLOC. Они объединили существующие открытые наборы данных, убрали противоречия в разметке и выпустили результат как крупнейший на сегодня датасет для подсчёта по текстовому запросу, если исходить из заявления самих исследователей.
CLOC включает около 220 тысяч изображений, 619 категорий и 15 млн размеченных объектов в шести типах данных.
- обычные фотографии;
- спутниковые и дрон-снимки;
- медицинские образцы тканей;
- микроскопические изображения клеток;
- сельскохозяйственные изображения, например колосья пшеницы;
- фотографии бактериальных культур.
В собственных тестах команды Count Anything заметно опережает конкурирующие системы, включая CountGD, CLIP-Count и Grounding DINO, говорится в статье. В среднем модель ошибается примерно на девять объектов на одну запрошенную категорию в изображении, тогда как лучший из конкурентов ошибается более чем в два раза сильнее.
При этом в подсчёте людей в толпе модель остаётся конкурентоспособной, но всё же уступает лучшим узкоспециализированным системам. Авторы также признают, что при неоднозначных или узкопрофессиональных терминах система может пропускать объекты или относить их к неверному классу.
Ещё одно ограничение связано с очень плотными сценами и сильными перекрытиями объектов. В таких случаях модели трудно понять, относятся ли два предсказания к одному объекту или к разным. Код Count Anything опубликован на GitHub.
Авторы материала также напоминают о недавнем бенчмарке BabyVision, который показал, что современные ИИ-модели всё ещё слабо справляются с базовыми зрительными задачами. В тестах с участием 80 детей большинство передовых моделей показали результат ниже среднего уровня трёхлетнего ребёнка.
Даже сильные модели, включая Gemini 3 Pro, едва достигли 50%, тогда как взрослые набрали более 94%. Особенно заметным разрыв был в задаче с подсчётом перекрытых трёхмерных блоков: лучшая модель получила 20,5%, а люди выполнили её без ошибок.
Источник: The Decoder.
*Организация Meta (владелец Facebook и Instagram) признана экстремистской организацией и ее деятельность запрещена на территории России.
