Microsoft Research представила Lens — модель генерации изображений по тексту, которая, по данным технического отчёта, требует примерно в пять раз меньше вычислений на этапе предобучения, чем сопоставимые системы вроде Z-Image. При этом она опережает на ряде бенчмарков модели с заметно большим числом параметров.
У Lens 3,8 млрд параметров. Для сравнения, у Hunyuan-Image-3.0 этот показатель составляет около 80 млрд. Исследователи объясняют результат более компактной архитектурой, более полезным сигналом на каждом шаге обучения и более быстрым сходом обучения.
Ключевую роль играет датасет Lens-800M — это 800 млн пар «изображение — текст» с подписями, сгенерированными GPT-4.1. Средняя длина таких описаний составляет около 100 слов, что заметно подробнее стандартного alt-текста из интернета.
По данным Microsoft, обучение на длинных описаниях даёт лучшие результаты, чем использование коротких или смешанных подписей. В компании отмечают, что веб-alt-текст часто бывает расплывчатым или просто неверным, из-за чего модель получает менее полезный обучающий сигнал.
Команда также смешивает в одном батче изображения разных разрешений и соотношений сторон — от портретного до горизонтального формата. Хотя модель обучали на фиксированном наборе размеров, она, как утверждают исследователи, хорошо работает и на новых форматах и разрешениях до примерно двух мегапикселей. Это позволяет избежать дорогого обучения на данных высокого разрешения.
Для архитектуры команда протестировала несколько вариантов вариационных автокодировщиков, которые переводят изображение из пикселей в сжатое представление. Вместо стандартных метрик восстановления Microsoft проверяла кандидатов прямо в задаче генерации изображений по тексту. Лучший результат показал semantic VAE из FLUX.2, который также ускорил сходимость.
В качестве текстового энкодера используется GPT-OSS — открытая языковая модель OpenAI. По итогам ablation-экспериментов более сильные языковые энкодеры ускоряют обучение и позволяют работать с запросами на языках, которых не было в обучающем наборе.
Lens обучали только на англоязычных парах «изображение — текст», но модель принимает подсказки на китайском, французском, японском и испанском. Более сильные языковые энкодеры также повысили точность следования запросу.
После предобучения модель проходит этап обучения с подкреплением на наборе Lens-RL-8K. Он включает 10 категорий, в том числе людей, животных, сцены, еду, вымышленные вселенные и дизайн интерфейсов. GPT-4.1 создаёт критерии оценки для каждого запроса, а GPT-4.1-mini используется как reward-модель.
Эксперименты показывают, что уменьшение RL-набора или удаление отдельных категорий, например запросов с большим количеством текста, ухудшает качество в соответствующих задачах. Разнообразие запросов на этом этапе оказалось важнее общего объёма.
Microsoft также добавляет перед основной моделью reasoner-модуль, который переписывает расплывчатый пользовательский запрос в более подробный промпт. По умолчанию используется GPT-5.5, но GPT-OSS тоже подходит и не требует дополнительной памяти.
Компания описала и способ поэтапно улучшать системный промпт такого reasoner-модуля без дополнительного обучения. По словам исследователей, этот подход хорошо перенёсся и на более крупную Qwen-Image, где тоже дал положительный эффект.
Для более быстрого вывода Microsoft выпустила дистиллированный вариант Lens-Turbo, который создаёт изображение всего за четыре шага. Стандартная модель генерирует изображение размером один мегапиксель примерно за три секунды на GPU H100, а Lens-Turbo справляется меньше чем за секунду.
Согласно отчёту, в тестах на точность следования промпту, рендеринг текста и сложные сцены Lens превосходит FLUX.2-Klein и Z-Image, а в ряде случаев опережает и Qwen-Image, несмотря на то что у последней в пять раз больше параметров.
Команда признаёт слабые места модели, в том числе качество рендеринга текста на языках вроде японского и французского. Исследователи связывают это с пробелами в покрытии данных.
Microsoft опубликовала код Lens и контрольные точки модели по лицензии MIT. Веса доступны на Hugging Face, а код для инференса — в репозитории GitHub. Компания отдельно подчёркивает, что модель предназначена только для исследований и не одобрена для промышленного применения.
В Microsoft также предупреждают, что часть обучающих данных получена из веб-источников, поэтому модель может генерировать предвзятый или проблемный контент. Пользователям предлагают самостоятельно добавлять меры безопасности.
Отдельно в материале упоминается, что команда Microsoft MAI под руководством Мустафы Сулеймана недавно выпустила собственные модели изображений для потребительских продуктов. MAI-Image-2 и MAI-Image-2.5 заняли третье место в рейтинге Arena.ai, на уровне Google Nano Banana 2, но ниже OpenAI ChatGPT Images 2.0.
Источник: The Decoder, технический отчёт Microsoft Research.
