Apple работает над новой моделью Manzano для понимания и генерации изображений одновременно. Обычно открытые модели уступают коммерческим продуктам OpenAI и Google в этих задачах, как отмечает Apple.
Manzano пока не доступна широкой публике, демонстрационной версии нет. Вместо этого исследователи Apple опубликовали научную статью с низкокачественными примерами изображений для сложных запросов. Эти примеры сравниваются с результатами Deepseek Janus Pro, GPT-4o и Gemini 2.5 Flash Image Generation (“Nano Banana”).
Apple указывает на главный недостаток большинства открытых моделей: они вынуждены выбирать между качественным анализом или генерацией изображений. Коммерческие решения справляются с обоими задачами. В статье отмечается: «Текущие модели особенно слабо работают с большим количеством текста, например, при распознавании документов или анализе диаграмм».
По словам Apple, проблемы возникают из-за разных подходов к обработке изображений. Для понимания нужны непрерывные данные, для генерации — дискретные токены. Обычно эти процессы используют разные инструменты, что вызывает конфликты в языковой модели.
Manzano («яблоня» на испанском) строится на гибридном токенизаторе изображений. Его основной принцип — общий энкодер, генерирующий два типа токенов: непрерывные для понимания («плавающие точки») и дискретные для генерации (категории). Оба потока исходят из одного энкодера, поэтому обычные конфликты минимизируются.
Архитектура Manzano состоит из трех основных частей: гибридный токенизатор, единая языковая модель, отдельный декодер изображений для итогового вывода. Apple создала три версии декодера на 0,9, 1,75 и 3,52 млрд параметров с поддержкой разрешения от 256 до 2048 пикселей.
Обучение модели проходит в три этапа на 2,3 млрд пар изображение–текст из открытых и внутренних источников, плюс 1 млрд внутренних пар текст–изображение. Всего использовано 1,6 трлн токенов. В качестве данных также используется синтетика от DALL-E 3 и ShareGPT-4o.
В тестах Apple Manzano опережает другие модели в бенчмарках ScienceQA, MMMU и MathVista. Версия с 30 млрд параметров особенно хорошо справляется с заданиями с большим объемом текста. Проверки масштабируемости показывают рост производительности при увеличении размера модели: 3-миллиардная версия набирает на 10 баллов больше самой маленькой в ряде задач.
Сравнение с узкоспециализированными системами показало незначительную разницу в качестве: для варианта на 3 млрд параметров разница составила меньше балла. На тестах генерации изображений Manzano вновь занимает верхние позиции в рейтингах Apple. Система понимает сложные инструкции, умеет переносить стили, добавлять изображения и оценивать глубину.
Apple считает Manzano перспективной альтернативой современным моделям и отмечает, что модульная конструкция позволит обновлять компоненты отдельно и применять разные методы обучения из разных источников.
Однако Foundation-модели Apple пока отстают от лидеров, даже с новым фреймворком для ИИ на устройствах. Для сокращения отставания Apple планирует использовать GPT-5 от OpenAI в Apple Intelligence начиная с iOS 26. Manzano демонстрирует технологический прогресс, но только будущее покажет, сможет ли этот подход снизить зависимость от внешних решений.
