Alibaba представила Qwen-Image — нейросеть с 20 миллиардами параметров для четкой генерации текста внутри изображений.
По словам разработчиков, Qwen-Image создает изображения в разных стилях. Модель справляется с аниме-сценами с множеством вывесок и сложными слайдами PowerPoint со структурированным содержанием. Она поддерживает билингвальный текст и умеет переключаться между языками.
Qwen-Image предлагает набор инструментов для редактирования. Можно менять стиль изображения, добавлять или убирать объекты, а также регулировать позы людей. Модель поддерживает задачи компьютерного зрения — оценку глубины изображений и создание новых точек обзора.
Технический отчет отмечает, что архитектура Qwen-Image состоит из трех частей: Qwen2.5-VL (понимание текста и изображений), Variational AutoEncoder (сжатие изображений) и Multimodal Diffusion Transformer (генерация финального результата).
Для точной вставки текста команда внедрила подход MSRoPE (Multimodal Scalable RoPE). Эта технология кодирует пространственные отношения между текстом и изображением. В отличие от классических методов, MSRoPE располагает текст по диагонали, что дает лучшее совпадение текста и графического контента при разном разрешении.
Обучающий датасет Qwen-Image делится на четыре части: 55% — снимки природы, 27% — дизайн (плакаты, презентации), 13% — фото людей, 5% — синтетика. Команда специально избегает использования изображений, сгенерированных искусственным интеллектом, в пользу контролируемых источников текста.
Для отбора данных проводится многоступенчатая фильтрация и используются три стратегии: Pure Rendering (простой текст на фоне), Compositional Rendering (текст в реальных сценах), Complex Rendering (сложные макеты, например, слайды).
Для оценки качества команда сделала платформу для анонимного голосования. После 10 000 сравнений Qwen-Image занял третье место, опередив коммерческие модели GPT-Image-1 и Flux.1 Context.
Бенчмарки подтверждают итоги: на тесте GenEval (генерация объектов) Qwen-Image набрала 0,91, что выше других моделей, и особенно хорошо показала себя при работе с китайскими иероглифами.
Исследователи считают Qwen-Image шагом к “интерфейсам, сочетающим видение и текст”. В будущем компания готовит платформы для объединенного понимания и генерации изображений. Также недавно представлен Qwen VLo — другая модель с сильными текстовыми возможностями.
Qwen-Image доступна бесплатно на GitHub и Hugging Face. Прямо сейчас можно попробовать демо-версию.
