Стартап Safeworld вышел из режима скрытой разработки и объявил о посевном раунде более чем на 12 млн долларов. Компания хочет решить одну из ключевых проблем робототехники: как проверять безопасность роботов, управляемых генеративным ИИ, если такие системы работают вероятностно и ведут себя менее предсказуемо, чем классические алгоритмы.
Safeworld основали руководитель лаборатории Safe AI в Carnegie Mellon University Дин Чжао, бывший топ-менеджер стартапов Кайл Вонг и инженер по машинному обучению Симо Рашиди. Раунд возглавили Shine Capital и a16z Speedrun. Также в компанию вложились Box Group, Carnegie Mellon University Endowment, Innovation Endeavors и SV Angel.
По словам Чжао, задача состоит из двух частей: оценка риска вероятностной системы и вопрос доверия к ней. «Проблема безопасности, о которой мы говорим, — это сочетание, во-первых, продвинутых вероятностных проверок генеративного ИИ: как оценить риск вероятностной системы? Вторая часть, которая действительно трудна, — это доверие, и для вывода робота в работу нужны обе части», — сказал он.
Партнёр a16z Speedrun Джонатан Лай заявил, что стандарт безопасности для отрасли нужно создавать уже сейчас, пока роботы ещё проектируются и начинают внедряться. «Когда роботы уже окажутся в домах, будут сталкиваться с детьми и вызывать инциденты, будет слишком поздно», — сказал он TechCrunch.
Основной продукт Safeworld — проверка роботизированных систем в симуляциях, где используются реалистичные модели людей. Подход напоминает тестирование беспилотных автомобилей у Tesla или Wayve, которым нужно проверять реакцию систем на неожиданные ситуации на дороге. По словам Чжао, для роботов задача ещё труднее, потому что они работают в менее формализованной среде, а на каждом объекте действуют свои требования по безопасности.
Вонг привёл пример с закрытым поворотом на заводе. В таком случае нужно определить скорость и тормозной путь, при которых робот не столкнётся с человеком. Отдельный вопрос — распознает ли робот сотрудника, если тот, например, несёт коробки.
Для таких проверок Safeworld создаёт цифровую копию конкретной сцены в моделях вроде Genesis или MuJoCo, добавляет в неё симуляцию робота с его реальным программным обеспечением, а затем прогоняет тысячи сценариев взаимодействия с людьми. По словам Чжао, это непросто, потому что поведение человека трудно предсказать.
Вонг отметил, что компания часто тестирует в симуляции ситуации, где человек спотыкается и падает. «Иначе вам пришлось бы постоянно идти и падать перед роботом, а это трудно делать всё время», — сказал он.
Создатели Safeworld признают, что у производителей роботов уже есть внутренние инструменты проверки. Однако они считают, что рынку также понадобится независимая внешняя валидация, в том числе для обмена данными о сценариях безопасности между конкурирующими компаниями.
«Многие недооценивают, насколько трудно будет решить часть таких пограничных сценариев, — сказал Чжао. — Нас беспокоит не робот в вакууме и не демонстрационный образец. Нас беспокоит робот, который развёрнут в большом масштабе и работает рядом с людьми, которые, возможно, раньше вообще не пользовались роботами».
Одним из партнёров Safeworld стала Gritt Robotics. Её технический директор Вишал Дугар разрабатывает ИИ-систему для роботов, которые помогают рабочим устанавливать фотоэлектрические панели на крупных солнечных электростанциях и в будущем должны взять на себя более сложные строительные задачи.
По словам Дугара, для большинства таких систем формальное математическое доказательство безопасности получить очень трудно. «Очень сложно просто провести математику, записать уравнения и сказать: да, система проверена и безопасна. Это неизбежно нужно делать эмпирически», — пояснил он.
Роботы Gritt работают рядом с людьми, поэтому один из главных вопросов — как убедиться, что роботизированная рука не ударит сотрудника. Для этого нужно учитывать множество сценариев поведения человека.
«Люди выглядят по-разному, — сказал Дугар. — Их тела могут быть в разных положениях. Они могут стоять на коленях, стоять, спотыкаться и падать, приседать, бежать. Система должна реагировать на все эти варианты поведения, а также на разницу во внешности: одежда, размер, форма тела, рост, цвет кожи и всё остальное».
Компания пока ищет подходящую модель продукта: это может быть платформа для внешних клиентов или сервисная модель. При этом команда уверена, что выбрала правильную задачу. «Вероятно, мы будем первой прибыльной компанией в этой сфере, — сказал Чжао. — Потому что если кто-то хочет запускать таких роботов, ему придётся платить нам за решение этой задачи».
Источник: TechCrunch.
