Snap Inc. представила SnapGen++ — компактную модель диффузионного трансформера, которая обеспечивает серверное качество генерации изображений по тексту прямо на смартфоне. Новинка создает картинки 1024×1024 пикселей за 1,8 секунды на iPhone 16 Pro Max.
До этого на мобильных устройствах использовались U-Net-архитектуры (SnapGen), однако SnapGen++ впервые переносит продвинутую архитектуру диффузионных трансформеров, применяемую в крупных серверных решениях, вроде Flux и Stable Diffusion 3, на смартфоны.
Эти трансформеры дают более четкие и детализированные изображения по сравнению с U-Net, потому что способны лучше понимать сложные текстовые запросы.
Главная проблема диффузионных трансформеров — огромные вычисления, которые возрастают при увеличении разрешения. Команда решила это, внедрив новую схему attention: она сначала формирует общий вид изображения, а затем добавляет детали. Благодаря этому задержка снизилась с 2000 до 300 миллисекунд без потери качества.
Аналогов такой мобильной скорости на рынке нет. Специалисты также внедрили “Elastic Training”, где одна тренировка создает сразу три версии модели: Tiny (0,3 млрд параметров) для недорогих Android, Small (0,4 млрд) для топ-смартфонов, Full (1,6 млрд) — для серверов или мощных устройств. Все варианты используют одни и те же параметры и учатся вместе. Это позволяет работать на разном “железе” без отдельного обучения под каждую платформу.
SnapGen++ показывает уверенные результаты в тестах: небольшая версия на 0,4 млрд параметров стабильно обходит Flux.1-dev с 12 млрд параметров и SD3.5-Large с 8,1 млрд.
Для быстроты работы Snap разработала специальный метод “дистилляции”, который сокращает среднее число вычислений с 28 до 4 шагов и почти не теряет в качестве. В результате генерация на iPhone 16 Pro Max занимает всего 1,8 секунды.
Snap продолжает активно развивать ИИ в своем приложении. Помимо виртуального собеседника «My AI», в ноябре 2024 года компания заключила соглашение с Perplexity AI на $400 миллионов. В этом году поиск Perplexity появится в Snapchat по умолчанию.
