Исследователи из Университета Колорадо, Корейского института науки и технологий в Кванджу и Google представили VisionClaw — постоянно активного ИИ-агента для умных очков. Система объединяет непрерывное восприятие от первого лица и самостоятельное выполнение цифровых задач.
Авторы проекта хотели закрыть разрыв между физической и цифровой средой. Обычные ИИ-агенты умеют работать с программами и веб-сервисами, но не видят, что происходит вокруг пользователя. Умные очки, напротив, получают аудио и видео из окружения, но почти не умеют действовать сами.
VisionClaw работает через Ray-Ban Meta без дисплея, Gemini Live и OpenClaw, которые связаны через специальное приложение на смартфоне. Очки постоянно передают аудио и отдельные кадры с камеры в Gemini. Модель обрабатывает мультимодальные данные, отвечает голосом или запускает задачи через OpenClaw. Агент может использовать браузер, почту, календарь и веб-поиск, а затем возвращает результат языковой модели.
Исследователи провели два эксперимента, чтобы проверить, как система работает на практике и как люди используют такой формат взаимодействия.
В первом исследовании VisionClaw сравнили с двумя упрощёнными системами на выборке из 12 человек. Первая система работала на Ray-Ban Meta и воспринимала окружение, но не умела выполнять общие агентные действия. Вторая была версией OpenClaw на смартфоне и могла решать цифровые задачи, но не имела постоянного доступа к данным из окружающей среды.
Участники выполняли четыре задания с физическими объектами или бумажными документами: делали заметки по бумагам, писали письма, искали товары и управляли устройствами. По данным статьи, VisionClaw выполнял задачи на 13–37% быстрее в зависимости от сценария, а пользователи оценили работу с системой как менее требовательную на 7–46%.
Также снизились умственная нагрузка, давление по времени и уровень раздражения. При этом общая успешность выполнения задач была статистически сопоставимой. Исключением стала задача на заметки: там результат VisionClaw упал примерно до 58%, потому что камера очков не всегда уверенно захватывала мелкие или визуально неудобные объекты, например чеки.
«Результаты показывают, что объединение восприятия и выполнения задач позволяет быстрее завершать работу и снижает издержки взаимодействия по сравнению с системами без постоянного восприятия и без агентных функций», — пишут исследователи.
Во втором исследовании авторы проверяли, как VisionClaw ведёт себя в повседневном использовании. Четверо авторов статьи сами пользовались системой в течение длительного времени и суммарно зафиксировали 55 активных дней использования.
За этот период они выполнили 555 голосовых взаимодействий общей длительностью 25,8 часа. Анализ показал шесть основных сценариев применения:
- получение информации — 30%
- покупки — 19%
- сохранение контента — 16%
- коммуникация — 14%
- запоминание — 12%
- управление — 9%
Полевое исследование также выявило четыре повторяющихся паттерна использования. Пользователи вели с агентом открытые многошаговые диалоги, спонтанно сохраняли информацию для последующего поиска, применяли ИИ без экрана в менее заметном формате, хотя и с падением предсказуемости, а полезность системы росла по мере накопления персональных данных.
По мнению авторов, это указывает на переход от разовых голосовых команд к постоянному использованию с учётом контекста. «Помимо прироста производительности, результаты внедрения показывают сдвиг в характере взаимодействия: задачи запускаются по ситуации во время текущих действий, а выполнение всё чаще делегируется системе, а не управляется вручную. Эти результаты указывают на новый формат носимых ИИ-агентов, где восприятие и действие постоянно связаны и поддерживают контекстное взаимодействие без рук», — говорится в статье.
Авторы считают, что VisionClaw показывает новый тип взаимодействия человека и ИИ. В таком формате система не просто отвечает на отдельные команды, как голосовой ассистент, а работает как постоянный помощник, где вместе действуют восприятие, память и выполнение задач.
При этом исследователи указывают и на открытые риски: проблемы приватности из-за постоянной записи, работу с большими объёмами личных данных и необходимость строить такие системы так, чтобы они не мешали пользователю.
С технической точки зрения авторы использовали Ray-Ban Meta без дисплея, хотя Meta уже продаёт в США версию со встроенным экраном. По их оценке, дисплей мог бы упростить работу с ИИ, потому что результаты выводились бы прямо в поле зрения пользователя и их было бы легче быстро проверить.
Авторы статьи также отмечают ограничения методики. В первом исследовании участвовали только 12 человек, во втором — всего четыре. Кроме того, полевое исследование полностью провели сами авторы системы, которые хорошо знают, как она устроена. Учитывая участие Google и планы компании выпустить очки с ИИ на базе Android XR и Gemini до конца года, такую работу не стоит воспринимать как полностью независимую оценку.
Статья VisionClaw: Always-On AI Agents Through Smart Glasses доступна онлайн бесплатно. Код самой системы VisionClaw опубликован на GitHub.
Источник: The Decoder, статья «VisionClaw: Always-On AI Agents Through Smart Glasses».
*Организация Meta (владелец Facebook и Instagram) признана экстремистской организацией и ее деятельность запрещена на территории России.
