Китайская компания Zhipu AI представила GLM-5V-Turbo — свою первую мультимодальную базовую модель для задач программирования. Модель обрабатывает изображения, видео и текст и рассчитана на агентные сценарии работы.
По заявлению компании, GLM-5V-Turbo должна сократить разрыв между визуальным пониманием и генерацией кода. Модель анализирует дизайн-макеты и сразу создает исполняемый код. В Z.AI утверждают, что она напрямую подключается к агентам вроде Claude Code и OpenClaw и поддерживает полный цикл: понимание среды, планирование действий и выполнение задач.
Контекстное окно составляет 200 тыс. токенов, а максимальный объем ответа — 128 тыс. токенов. Модель поддерживает режим рассуждения, потоковый вывод, вызов функций и кэширование контекста.
Z.AI объясняет результат улучшениями в четырех частях: архитектуре модели, методах обучения, построении данных и инструментах. Компания также разработала новый визуальный энкодер CogViT.
В компании отмечают, что модель учится совместно обрабатывать изображения и текст с самого начала обучения, а не получает модуль распознавания изображений уже после создания языковой модели. Во время инференса GLM-5V-Turbo предсказывает сразу несколько токенов, что должно ускорить вывод.
Обучение с подкреплением применялось более чем к 30 типам задач, включая STEM, grounding, видео, GUI-агентов и кодирующих агентов. Цель — повысить качество восприятия, рассуждения и выполнения действий агентом.
Для решения проблемы нехватки данных для обучения агентов Z.AI создала многоуровневую систему данных, которую можно контролировать и проверять. Метанавыки агентного поведения, по словам компании, добавлены уже на этапе предобучения, чтобы раньше усилить предсказание действий и их выполнение.
Новая мультимодальная цепочка инструментов расширяет работу агента от чисто текстового режима до визуального взаимодействия. В набор входят инструменты для разметки областей, создания скриншотов и чтения сайтов с учетом анализа изображений.
По данным Z.AI, GLM-5V-Turbo показывает высокие результаты в мультимодальном программировании и агентных задачах. Компания сообщает о сильных показателях в генерации кода по дизайну, визуальной генерации кода, мультимодальном поиске и визуальном исследовании, а также в тестах AndroidWorld и WebVoyager, которые проверяют способность агента работать в реальных GUI-средах.
В текстовых задачах программирования, как утверждает компания, модель не теряет качество из-за добавления визуальных возможностей. Она сохраняет уровень в трех ключевых тестах CC-Bench-V2: backend, frontend и исследование репозиториев. Также заявлены сильные результаты в PinchBench, ClawEval и ZClawBench. Независимых оценок пока нет.
Z.AI выделяет несколько сценариев применения модели:
- генерация полноценного запускаемого фронтенд-проекта по дизайн-макетам или референсным изображениям;
- восстановление структуры wireframe и функциональности с визуальным соответствием макету;
- автономное исследование GUI и сайтов в связке с фреймворками вроде Claude Code;
- поиск ошибок рендеринга по скриншотам с последующей генерацией кода для исправления.
В связке с Claude Code модель может самостоятельно искать нужные сайты, отслеживать переходы между страницами, собирать визуальные элементы и детали взаимодействия, а затем писать код на основе найденного. В Z.AI называют это переходом от воссоздания по одному скриншоту к воссозданию через автономное исследование.
Для отладки модель делает скриншоты страниц с ошибками, находит сдвиги верстки, наложение компонентов и несоответствие цветов, после чего генерирует код для исправления. Интеграция с OpenClaw также позволяет лучше понимать структуру сайтов, элементы интерфейса и диаграммы.
Компания также выпустила официальные навыки для ClawHub, включая создание подписей к изображениям, visual grounding, подготовку текстов по документам, отбор резюме и генерацию промптов. Пока GLM-5V-Turbo доступна только через API на платформе Z.AI.
Стоимость составляет $1,20 за 1 млн входных токенов и $4 за 1 млн выходных токенов. Это соответствует цене текстовой модели GLM-5-Turbo и немного выше базовой GLM-5. Открытые веса модели компания пока не анонсировала.
Недавно Z.AI также выпустила GLM-5-Turbo — текстовую модель для агентного фреймворка OpenClaw. По словам компании, она улучшает вызов инструментов, следование инструкциям, выполнение задач с ограничением по времени, постоянных задач и длинных цепочек действий.
Одновременно Z.AI представила ZClawBench — сквозной бенчмарк для агентных задач в экосистеме OpenClaw. По данным компании, GLM-5-Turbo заметно превосходит предыдущую GLM-5 и опережает Claude Opus 4.6, Gemini 3.1 Pro, MiniMax M2.5 и Kimi K2.5 в нескольких категориях. Использование навыков в экосистеме OpenClaw за короткий срок выросло с 26% до 45%.
До этого, в середине февраля, Zhipu AI выпустила GLM-5 — модель с открытым исходным кодом на 744 млрд параметров под лицензией MIT. Компания заявляла, что она конкурирует с Claude Opus 4.5 и GPT-5.2 в задачах программирования и агентных сценариях. В тесте SWE-bench Verified модель набрала 77,8% против 80,9% у Claude Opus 4.5.
Компания также подчеркивала, что GLM-5 работает на китайских чипах Huawei и других производителей, а также на GPU Nvidia. Это дает дополнительное преимущество на фоне экспортных ограничений США.
Похожий подход использует и Alibaba с моделью Qwen3.5-Omni. Она обрабатывает текст, изображения, аудио и видео. Как и GLM-5V-Turbo, модель умеет генерировать код по визуальному вводу, но также принимает голосовые инструкции.
Источник: The Decoder.
