Лаборатория ИИ PrismML, основанная исследователями Caltech и консультируемая Ионом Стоикой из UC Berkeley, представила версию своих компактных языковых моделей для умных очков на чипах Qualcomm Snapdragon.
О разработке рассказали в среду на мероприятии Qualcomm Snapdragon Summit. Производитель чипов показал 1-битную модель Bonsai LLM, которую можно запускать локально на ИИ-очках, построенных на платформе Snapdragon AR1 Gen 1.
Как ранее сообщал TechCrunch, PrismML делает крупные модели заметно компактнее. В этом случае сокращение составляет в 4 раза, при этом модель сохраняет почти всю производительность в стандартных бенчмарках.
Версия для умных очков — это модель на 2 млрд параметров, настроенная для работы со зрением и языком. За счёт этого пользователь может в реальном времени спрашивать систему о том, что находится перед ним.
Более широкая цель PrismML — продвигать ИИ с открытыми весами, который работает прямо на устройствах и лучше использует уже доступные вычислительные ресурсы. Стартап предлагает такой подход как альтернативу зависимости от закрытых ИИ-лабораторий, которые требуют всё больше вычислительной мощности и просят доверять их обещаниям по защите данных.
Выпуск модели для чипа Qualcomm стал шагом в эту сторону. При этом ни одни умные очки с PrismML пока не анонсированы.
Источник: TechCrunch, Qualcomm Snapdragon Summit.
