Исследователи из команды Alibaba Qwen и Университета Цинхуа представили фреймворк HopChain для обучения vision-language models, или VLM — моделей, которые работают с изображениями и текстом. Метод нацелен на частую проблему таких систем: небольшие ошибки на ранних этапах разбора изображения накапливаются и приводят к неверному ответу.
Авторы отмечают, что VLM хорошо справляются со многими стандартными тестами, но часто ошибаются в задачах, где нужно выполнить несколько последовательных шагов рассуждения по изображению. В цепочке рассуждений модели могут неверно считать объекты, путать их расположение, «дорисовывать» детали или делать ошибочные логические выводы. Одна ранняя ошибка затем искажает весь последующий ответ.
По словам исследователей, существующие данные для обучения с RLVR — Reinforcement Learning with Verifiable Rewards, где правильность ответа можно проверить автоматически, — почти не содержат задач, требующих внимательного визуального анализа в несколько шагов.
В статье приводятся примеры таких сбоев. В одном случае модель должна посчитать точки на божьих коровках и ошибается на одной точке у трёх из пяти насекомых, из-за чего итоговая сумма выходит неверной. В другом — верно определяет положение автомобиля в последовательности кадров, но неправильно трактует движение: машина якобы выезжает с парковки, хотя на самом деле заезжает. Ещё один пример связан с астрономической схемой, где модель указывает стрелку не на ту дугу и выбирает неверное время года.
HopChain автоматически создаёт вопросы по изображениям так, чтобы каждый следующий шаг опирался на предыдущий и заставлял модель снова проверять картинку. Авторы заложили два типа связей:
- чередование задач на распознавание одного объекта, например чтение текста или определение цвета, и задач на сравнение нескольких объектов — размеров, пропорций или взаимного расположения;
- цепочку зависимостей между объектами, где следующий нужный объект можно найти только через уже найденные элементы.
Каждый вопрос заканчивается уникальным числом, которое служит автоматической проверкой ответа. В одном из примеров модель должна последовательно посчитать глаза у игрушечной овцы, проверить наличие текста на фоне, затем посчитать глаза у другой куклы, прочитать слово на листке перед второй куклой, посчитать буквы, выполнить несколько арифметических действий и умножить результат на число игрушек в сцене. Правильный ответ — 72.
Генерация данных проходит в четыре этапа. Сначала языковая модель Qwen3-VL-235B-A22B-Thinking определяет категории объектов на изображении. Затем модель сегментации SAM3 от Meta находит отдельные экземпляры этих объектов.
На третьем этапе языковая модель строит многоуровневые вопросы по комбинациям из трёх-шести объектов. На четвёртом этапе четыре человека независимо решают каждую задачу.
В итоговый набор попадают только те вопросы, по которым все четыре аннотатора дали одинаковый ответ. Задачи, с которыми слабая модель справляется слишком легко, тоже отбрасываются. В результате для каждой модели получают примерно от 60 до 80 тысяч обучающих примеров.
Исследователи обучили по этому подходу две модели: Qwen3.5-35B-A3B и Qwen3.5-397B-A17B. Затем они сравнили RLVR только на существующих данных и RLVR на тех же данных с добавлением HopChain. Оценка шла по 24 бенчмаркам в четырёх категориях:
- STEM и головоломки;
- общее понимание изображений;
- распознавание текста и понимание документов;
- понимание видео.
Для обеих моделей данные HopChain улучшили результаты на 20 из 24 тестов. У младшей модели показатель EMMA вырос с 53 до 58, а CharXiv — с 69 до 73,1. У старшей BabyVision поднялся с 28,61 до 32,22, а ZeroBench — с 4 до 8. Поскольку сгенерированные вопросы не подгонялись под конкретные тесты, авторы считают это признаком реального переноса навыка на новые задачи.
Хотя обучающий набор целиком состоит из изображений, обе модели также улучшили результаты на пяти из шести видеобенчмарков. Это указывает на то, что навыки, которым учит HopChain, переносятся и на видео.
Дополнительный анализ показывает, что полная цепочка шагов играет ключевую роль. Если оставить только последний шаг вопроса, средний результат по пяти показательным тестам снижается с 70,4 до 64,3. Если сохранить только вторую половину цепочки, показатель составляет 66,7.
Прирост увеличивается вместе с длиной цепочки рассуждений. Для особенно длинных ответов улучшение точности у старшей модели превышает 50 пунктов. Разбор ошибок показывает сопоставимый выигрыш по разным типам сбоев: визуальное восприятие, логика, знания и галлюцинации.
Авторы также указывают на ограничение метода: конвейер зависит от SAM3, которая должна распознавать объекты на изображении. Поэтому картинки, где такие объекты нельзя сегментировать, не попадают в процесс генерации данных.
В материале отмечается, что слабое визуальное восприятие остаётся заметной проблемой для современных моделей. Это недавно показал и бенчмарк WorldVQA от Moonshot AI: даже лучшая модель правильно определила менее половины объектов на изображениях, а все протестированные системы систематически переоценивали собственную точность.
Кроме того, анализ Стэнфорда показал, что передовые модели набирают 70–80% баллов в тестах на изображения, даже если вообще не получают саму картинку. При этом они уверенно описывают визуальные детали, которых в данных нет.
Источник: The Decoder, исследование Alibaba Qwen и Университета Цинхуа.
*Организация Meta (владелец Facebook и Instagram) признана экстремистской организацией и ее деятельность запрещена на территории России.
