Meta впервые подробно рассказала о своих новых исследовательских очках Aria Gen 2, которые были анонсированы в феврале. Обновлённая версия стала заметно легче: вес составляет от 74 до 76 грамм в зависимости от размера. Пользователям доступны восемь вариантов оправ для разной формы лица и головы. Благодаря складывающимся дужкам очки стало удобнее переносить.
Главное изменение — увеличение количества камер: теперь их четыре вместо двух. Новые глобальные затворы позволяют снимать каждую точку изображения одновременно, что избавляет от искажений картинки при резких движениях. Диапазон HDR вырос до 120 дБ (у первой версии было 70 дБ), что позволяет детально фиксировать как яркие, так и тёмные сцены.
Угол стерео-совпадения между основными камерами увеличился с 35 до 80 градусов, благодаря чему система точнее определяет глубину сцены.
В Aria Gen 2 добавлены три новых сенсора. Датчик освещённости (ALS) теперь различает солнечный и искусственный свет и способен включать ультрафиолетовый режим. Это важно для автоматической настройки камеры при изменении освещения. В носоупоре появились две дополнительные функции: контактный микрофон, который улавливает голос по вибрациям костей, и датчик PPG для измерения пульса по изменению кровотока под кожей. Контактный микрофон способен улавливать даже шёпот в шумных местах.
Для синхронизации нескольких устройств используется радиоканал SubGHz с точностью меньше одной миллисекунды, что на порядок превосходит программные методы синхронизации из первой версии, сообщает компания.
Вся обработка ИИ выполняется на выделенном сопроцессоре с энергоэффективными алгоритмами машинного обучения. Перцептивные задачи, помогающие очкам понимать окружающую среду, реализованы локально.
Система VIO объединяет данные с камер и датчиков движения для отслеживания положения устройства и направления взгляда во всех шести степенях свободы. Реализовано слежение за движением глаз (фиксация взгляда, моргание, размер зрачков, точка сходимости), а также трёхмерное отслеживание рук и положения суставов пальцев.
Meta планирует открыть доступ к Aria Gen 2 для исследователей и разработчиков в течение года. До широкой доступности будут проведены демо-наработки на конференции CVPR 2025, которая состоится с 11 по 15 июня.
Проект Aria ведётся с 2020 года. За это время для обучения ИИ и роботов собраны массивы данных, включая Ego-Exo4D. Записи диалогов, сделанные через встроенные микрофоны, используются для создания обучающих выборок. В будущем Meta собирается использовать видео от первого лица для подготовки ИИ-ассистентов, помогающих пользователям в повседневных делах.
*Meta — запрещённая в РФ организация.
