Nvidia ищет способ решить главную проблему робототехники — нехватку обучающих данных — с помощью синтетических данных.
На мероприятии Physical AI and Robotics Day в Вашингтоне исследователь Nvidia объяснил: «Мы называем это большим разрывом в данных в робототехнике». Для сравнения, большие языковые модели обучаются на триллионах токенов из интернета, а робототехнические системы, такие как Nvidia GR00T, имеют доступ только к нескольким миллионам часов телеметрии, и большая часть этих данных собрана вручную и относится к узким задачам.
Nvidia предлагает изменить подход и построить новую «пирамиду данных для робототехники». На вершине находятся реальные данные — их мало и собрать их дорого. В центре — синтетические данные из симуляторов, которых может быть сколько угодно. Основание составляет неструктурированная информация из интернета. Как заявляет команда Nvidia: «Когда синтетических данных станет больше, чем данных из интернета, тогда роботы действительно смогут учиться выполнять любые задачи».
С помощью платформ Cosmos и Isaac Sim компания планирует превратить проблему нехватки данных в задачу вычислений.
