Команда Tencent X-Omni показала, как обучение с подкреплением помогает исправить основные слабости гибридных ИИ для генерации изображений. Новый подход улучшает работу с длинными текстами на картинках и иногда даже устанавливает новые рекорды.
Обычные авторегрессивные модели ИИ, создающие изображения по одному токену, сталкиваются с тем, что ошибки накапливаются, и итоговое качество падает. Чтобы решить эту проблему, многие системы объединяют авторегрессивные модели (для смысла) с диффузионными моделями (для финального изображения).
Но у гибридных схем есть проблема: авторегрессивная часть часто выдает такие токены, которые не подходят для диффузионного декодера. Исследователи Tencent предложили решить этот вопрос с помощью X-Omni, используя обучение с подкреплением.
X-Omni объединяет авторегрессивную модель генерации семантических токенов с диффузионным декодером FLUX.1-dev от Black Forest Labs. В отличие от других гибридов, X-Omni не обучает обе части отдельно, а сразу учит их работать вместе через обратную связь.
Система сначала генерирует смысловые токены, потом диффузионный декодер превращает их в картинки. Оценщик качества дает обратную связь, и авторегрессивная модель находит токены, которые подходят декодеру. В публикации отмечается, что качество картинок стабильно растет по мере обучения с подкреплением — уже после 200 шагов X-Omni обходит стандартное гибридное обучение.
Вместо пиксельного подхода X-Omni использует семантическую токенизацию. Спецалгоритм SigLIP-VQ разбивает изображение на 16 384 токена, которые задают смысл, а не просто детали. Основой служит языковая модель Qwen2.5-7B от Alibaba с добавленными слоями для обработки изображений.
Для оценки результата команда собрала целую схему: человеческая оценка эстетики, модель оценки качества большой картинки, а также языково-визуальная модель Qwen2.5-VL-32B, чтобы проверить, насколько картинка совпадает с текстовым запросом. Для распознавания текста применяются GOT-OCR-2.0 и PaddleOCR.
В генерации текста на изображениях X-Omni показывает лучшие показатели: 0.901 для английского (лучше других), а по китайскому тексту даже опережает GPT-4o. Для более длинных фрагментов команда создала отдельный тест LongText — X-Omni здесь тоже лидер, особенно по китайскому.
По общей генерации X-Omni набрал 87.65 баллов на DPG (лучше всех “универсальных моделей” и чуть выше GPT-4o). В задачах на понимание изображений модель тоже показывает хорошие результаты и обходит узкоспециализированные решения на OCRBench.
Метод обучения с подкреплением у X-Omni работает, хотя авторы не заявляют о огромных скачках качества. В большинстве тестов прирост небольшой. GPT-4o тоже остается сильным решением, а модель Seedream 3.0 от Bytedance уверенно работает, но создает только изображения.
Главное отличие X-Omni — использование открытых наработок разных команд, включая конкурентов, чтобы собрать решение, сопоставимое с коммерческими продуктами по генерации изображений от OpenAI.
Напомним, при релизе несколько месяцев назад генерация изображений GPT-4o в ChatGPT вышла на новый уровень благодаря похожему объединению авторегрессивных и диффузионных архитектур для лучшей интерпретации текстов и точной прорисовки надписей.
Tencent опубликовала исходные коды X-Omni на Hugging Face и GitHub.
