Исследовательский институт AI2 представил новые модели для робототехники, которые обучены полностью в симуляциях. Эти модели выполняют задания на реальных роботах без ручного сбора данных и без дообучения, что исследователи называют zero-shot sim-to-real transfer — перенос навыков из симуляции в реальность без дополнительного обучения.
Подход может значительно ускорить разработку. При классическом методе требовались месяцы телеметрических демонстраций в реальной среде, чтобы роботы, обученные в симуляции, работали достаточно устойчиво.
AI2 представил два новых проекта с открытым исходным кодом: MolmoSpaces и MolmoBot. MolmoSpaces включает более 230 000 внутренних сцен, свыше 130 000 отобранных объектов и более 42 млн аннотаций захватов роботом, рассчитанных с учётом физики.
На базе этого набора обучен MolmoBot. Робот может поднимать и перекладывать предметы, открывать ящики и двери, при этом он не получал реальные тренировочные данные именно для этих действий.
По словам Ранджея Кришны, руководителя команды PRIOR в AI2, разрыв между симуляцией и реальной средой уменьшается, если значительно расширить разнообразие виртуальных помещений, объектов и настроек камер. Все модели и инструменты доступны в открытом доступе, а технические подробности описаны в научной работе.
Источник: AI2, The Decoder.
