Стартап Perceptron, основанный двумя бывшими исследователями Meta, представил модель компьютерного зрения Isaac 0.5 для промышленного применения. Компания заявляет, что модель помогает машинам «воспринимать, рассуждать и действовать» в физической среде, включая склады и производственные площадки.
Perceptron была основана в ноябре 2024 года. Стартап разрабатывает vision-модели нового поколения, которые должны помочь машинам лучше взаимодействовать с окружающей средой и извлекать визуальные данные из видео, записанного роботами.
По данным компании, Isaac 0.5 выпущена как open-weight модель. Это значит, что её параметры и материалы для обучения доступны для изучения.
Недавно Perceptron привлекла $21 млн в раунде финансирования под руководством Bessemer Venture Partners. Компанию основали Armen Aghajanyan и Akshat Shrivastava, ранее работавшие в FAIR — исследовательском подразделении Meta по ИИ.
В компании считают, что текущий рынок Physical AI предлагает ложный выбор: либо универсальные базовые модели, которым для каждого запуска нужны несколько выделенных облачных GPU, либо узкие системы, которые решают задачи восприятия или управления, но не совмещают оба сценария.
По словам основателей, Isaac 0.5 — модель общего назначения, а не инструмент под одну повторяющуюся операцию. Предполагается, что она сможет подстраиваться под конкретную среду и текущую ситуацию.
В интервью Shrivastava предложил рассмотреть простой пример — сортировку коробок роботом: «Представьте, что прямо сейчас внедряют робота для сортировки посылок. Какие задачи ему нужно будет выполнять?»
Даже такая задача включает несколько этапов. Роботу нужно прочитать этикетку, понять расположение коробок в пространстве, выбрать нужную коробку, а при работе с серией объектов — ещё и определить порядок захвата.
Perceptron утверждает, что её ПО помогает роботам проходить через все эти этапы. При этом инструменты для отдельных задач на рынке уже есть, но, как отмечает компания, гибких систем, которые объединяют такие функции, пока немного.
Для обучения Isaac 0.5 использовались большие массивы видеоданных. По словам Perceptron, модель обучали на 1 млн часов видео общего назначения, чтобы алгоритм мог распознавать различные сцены, объекты и ситуации.
Компания также использовала ego video — записи с точки зрения человека, например с GoPro или носимой камеры, — и UMI video, которые применяются для обучения движениям на основе записи повторяющихся действий человека.
Источники обучающих данных Perceptron не раскрывает. При этом Shrivastava заявил, что компания «внутри создала датасеты петабайтного масштаба, охватывающие разные модальности: изображения, текст, видео и вплоть до роботических траекторий».
Perceptron рассчитывает вывести своё ПО на рынок для разных поставщиков и встроить этот интеллектуальный слой в широкий круг отраслей. В компании называют производство, логистику, складские операции, безопасность, мобильность, медиа и развлечения.
Aghajanyan заявил: «На рынке на самом деле нет ничего подобного. Мы очень этим воодушевлены».
Источник: исходный текст новости о запуске Perceptron Isaac 0.5.
*Организация Meta (владелец Facebook и Instagram) признана экстремистской организацией и ее деятельность запрещена на территории России.
