Китайская компания Deepseek представила новый визуальный энкодер DeepEncoder V2, который перестраивает порядок обработки изображения по смыслу, а не по строгой схеме сверху вниз и слева направо.
Обычно модели разделяют картинку на небольшие части и обрабатывают их последовательно. Исследователи Deepseek отмечают, что такой подход не отражает принципы человеческого восприятия: глаза человека двигаются по содержанию. Например, следя за спиралью, мы не перескакиваем по строкам, а двигаемся по самой форме.
В Deepseek OCR 2 сначала визуальные токены сортируются по контексту, после этого информация поступает в языковую модель для анализа. Такой двухшаговый процесс, по мнению разработчиков, дает лучшее понимание изображения.
В DeepEncoder V2 вместо стандартного компонента CLIP используется компактная языковая модель на базе Qwen2 0.5B компании Alibaba. Новое — causal flow tokens: обучаемые запросы, которые, соединяясь с визуальными токенами, получают доступ ко всей информации изображения и к предыдущим запросам.
В статье указано, что сначала энкодер структурирует визуальные токены по их содержанию, а потом декодер LLM анализирует уже отсортированную последовательность. Оригинальные визуальные токены дальше не используются — только перестроенные causal flow tokens.
Deepseek OCR 2 может работать с 256–1 120 визуальных токенов на картинку; для сравнения, в других моделях часто требуется более 6 000 токенов. На тесте OmniDocBench v1.5 (1355 страниц, 9 категорий) модель показала результат 91,09%, что на 3,73% выше, чем у первой версии Deepseek OCR. Значительно улучшилась точность правильного порядка чтения и эффективность парсинга документов. Deepseek OCR 2 опередила Gemini 3 Pro с аналогичным лимитом токенов.
Уменьшилась и частота повторов при генерации текста. При работе в качестве OCR-бэкенда для языковых моделей Deepseek показатель снизился с 6,25% до 4,17%, а при пакетной обработке PDF — с 3,69% до 2,88%.
Недостатки тоже есть: на газетах модель пока уступает предыдущей версии. Исследователи объясняют это лимитом токенов и небольшим числом газетных страниц в обучающей выборке — таких было только 250 000.
Разработчики считают DeepEncoder V2 шагом к единой системе обработки текста, аудио и изображений: в будущем архитектура может работать с разными типами данных, меняя только запросы в зависимости от типа входа. В статье говорится, что такой подход может помочь моделям лучше понимать структуру двумерного контента.
Код и веса модели доступны на GitHub и Hugging Face.
Deepseek первую версию OCR выпустила в октябре прошлого года. Эта система умеет обрабатывать текстовые документы как изображения, снижая требования к памяти в 10 раз. Благодаря этому языковые модели могут учитывать больше контекста — это полезно для работы с длинными диалогами и большими файлами. По данным Deepseek, система обрабатывает до 33 млн страниц в сутки и хорошо подходит для создания больших обучающих датасетов.
