Китайская компания Zhipu AI представила GLM-Image — модель с 16 миллиардами параметров, которая хорошо справляется с созданием текста на изображениях и сложным содержанием. Архитектура разделена на два модуля: первый, 9-миллиардный автопредиктивный на основе GLM-4, строит смысловую структуру будущего изображения. Второй модуль — 7-миллиардный диффузионный декодер — отвечает за качество итоговой картинки в высоком разрешении (1024-2048 пикселей).
От других моделей GLM-Image отличает новый подход к разбиению изображения на токены. Вместо классических VQVAE-токенов, которые хранят только визуальную информацию, Zhipu AI использует «семантические токены». Они содержат данные и о цвете, и о смысле — могут указывать, где на картинке текст, лицо или фон. По словам Zhipu AI, это ускоряет обучение и повышает стабильность результатов.
Для больших разрешений GLM-Image сначала создает «превью» из 256 токенов, чтобы зафиксировать расположение объектов. Потом генерирует итоговую картинку из 1024-4096 токенов. В компании отмечают: при прямой работе с большим разрешением модель «теряет управляемость».
Для генерации текста на изображениях GLM-Image использует специальный модуль Glyph-byT5, который обрабатывает каждую букву отдельно. По оценке Zhipu AI, такой подход заметно улучшает отображение текста — особенно иероглифов. Из-за богатых семантических токенов не нужен отдельный большой текстовый энкодер — это снижает требования к памяти и расчетам.
После предобучения обе части модели дорабатываются с помощью обучения с подкреплением. Автопредиктивный модуль получает обратную связь по соответствию картинки запросу и читаемости текста. Диффузионный декодер — за проработку мелких деталей, таких как текстуры и руки. Для этого Zhipu AI сделала собственный инструмент оценки. Раздельная настройка позволяет улучшать один модуль без риска сбоя в другом.
В редактировании изображений и смене стиля GLM-Image работает сразу с токенами смысла и исходной картинкой. В отличие от Qwen-Image-Edit, модель не сравнивает всё целиком, а сохраняет промежуточные результаты для быстрого повторного использования. По словам Zhipu AI, это экономит ресурсы и не портит детали.
Для запуска требуется GPU с памятью больше 80 ГБ или несколько видеокарт; на домашнем оборудовании модель не работает. GLM-Image распространяется с лицензией MIT на Hugging Face и GitHub.
Zhipu AI утверждает, что GLM-Image — первая открытая модель такого уровня, полностью обученная на китайском «железе». Вероятно, использовались чипы Huawei Ascend Atlas 800T A2 вместо Nvidia H100.
Американские санкции на экспорт AI-чипов вынуждают китайские компании переходить на собственные комплектующие. Zhipu AI считает свой проект доказательством, что мощные ИИ можно создавать без западных технологий, что важно не только с технической, но и с политической точки зрения.
Компания, считающая OpenAI своим прямым конкурентом, недавно стала одной из первых китайских AI-компаний, разместивших акции на бирже. После этого их стоимость выросла более чем на 80%.
GLM-Image пополнил линейку открытых моделей от Zhipu AI. В декабре компания выпустила GLM-4.7, предназначенную для автоматического программирования. Модель показала 73,8% в тесте SWE-bench Verified, повторив уровень коммерческих моделей OpenAI и Anthropic.
Ставка GLM-Image на генерацию текста отражает общий тренд среди китайских генераторов изображений. В августе Alibaba представила Qwen-Image — модель с 20 миллиардами параметров и акцентом на реализм и четкий текст, пригодный для презентаций. В декабре компания Meituan выпустила LongCat-Image с 6 миллиардами параметров — этот продукт нацелен опережать конкурентов именно в рендеринге текста.
