Исследователи из ByteDance Seed и Гонконгского университета науки и технологий показали, что для обучения мультимодальных ИИ-моделей работе с длинными документами лучше подходят пары «вопрос — ответ», а не распознавание текста по символам. На этой схеме они построили модель MMProLong на базе открытой Qwen2.5-VL от Alibaba.
Работа посвящена тому, как эффективно обучать image-language модели на длинных входных данных. Речь идет о наборах PDF со множеством страниц, длинных видео и агентных системах, которым нужно помнить контекст на многих шагах. Авторы отмечают, что компании вроде OpenAI, Google и Alibaba заявляют окна контекста до 1 млн токенов, но в технических отчетах почти не раскрывают, какие данные и в какой пропорции нужны для такого обучения.
Главный вывод исследования прост: если модель должна найти нужный фрагмент в документе на 100 страниц, обучение на сплошной транскрипции страниц помогает слабо. Гораздо лучше работает обучение на вопросах, ответы на которые спрятаны внутри длинного документа.
Авторы напрямую сравнили оба подхода. В первом варианте модель выполняла распознавание текста либо по всем страницам документа, либо по нескольким выбранным страницам, тогда как остальные страницы оставались в контексте как отвлекающий фон.
Во втором варианте отдельная модель Seed 2.0 от ByteDance генерировала пары «вопрос — ответ» для отдельных частей документа. Затем вопрос подавался в обучение вместе со всем документом, и модель должна была сама найти нужный фрагмент в длинном контексте.
Эксперименты показали, что чистое обучение на распознавании текста ухудшало результат по сравнению с исходной точкой. Обучение на вопросах и ответах, напротив, дало заметный прирост. По словам авторов, модель начинает лучше искать в длинных текстах, когда ей нужно отбирать и группировать информацию под конкретную задачу.
Исследователи также выделили еще три вывода. Первый: нет смысла делать упор только на очень длинные документы у верхней границы окна контекста. Более полезной оказалась смесь коротких и длинных примеров, которая дает более стабильный результат.
Второй вывод касается состава задач. Основное узкое место — это поиск релевантного фрагмента, а не последующее рассуждение над ним. Лучшие результаты дала смесь с упором на извлечение информации и меньшей долей задач на вычисления.
Третий вывод идет вразрез с практикой обучения текстовых языковых моделей. Добавление коротких примеров не оказалось обязательным. Модель в основном сохранила навыки для коротких задач, даже когда ее обучали только на длинных данных в формате «вопрос — ответ».
Авторы связывают это с самим форматом данных. Даже при очень длинном контексте задача по-прежнему выглядит как привычная инструкция с вопросом и ответом, поэтому модель сохраняет поведение, нужное для коротких сценариев.
С таким подходом и при сравнительно небольшом бюджете обучения MMProLong обошла несколько более крупных открытых моделей, включая InternVL3-38B и Gemma3-27B. Модель обучали на длине 128 тыс. токенов, но она сохранила стабильность на входах в 256 тыс. и даже 512 тыс. токенов, тогда как исходная версия на этих диапазонах резко теряла качество.
Авторы также проверили перенос навыков на задачи, под которые модель специально не обучали, например на понимание длинных видео. В дополнительном эксперименте этот рецепт показал хороший результат и на Qwen3-VL-8B, хотя эта модель уже изначально рассчитана на длинный контекст.
Исследование интересно и на фоне подхода Deepseek, который широко обсуждали ранее. Deepseek пытается расширить «длинную память» ИИ-моделей через обработку текстов как изображений и их сильное сжатие, в том числе с помощью энкодера, который заново сортирует визуальную информацию по содержанию. Подход ByteDance Seed другой: оптимизировать данные обучения, а не архитектуру модели.
Источник: The Decoder.
