Сбер представил семейство генеративных моделей Kandinsky WM 1.0 для создания физически достоверных видеоданных. Линейка включает три нейросети: одна генерирует дорожные сценарии, вторая симулирует действия роборуки, третья моделирует сложные физические процессы.
Модели предназначены для обучения роботов, беспилотных автомобилей и других систем Physical AI без необходимости собирать большие массивы реальных данных. Такие системы работают с физической средой, анализируют происходящее и управляют реальными устройствами.
Базой для Kandinsky WM 1.0 стала Kandinsky 5.0 Video Lite. Её дополнительно обучили на нескольких миллионах видеозаписей с камер роботов, беспилотных автомобилей и промышленных объектов.
Во время обучения разработчики проверяли физическую достоверность роликов. В частности, важно было, чтобы машины не меняли форму в движении, предметы не пропадали из кадра, а траектории объектов оставались естественными.
В Сбере заявили, что Kandinsky WM может генерировать редкие сценарии, которые трудно, невозможно или небезопасно снять в реальных условиях. В качестве примеров компания приводит ДТП и экстремальные погодные условия.
Семейство Kandinsky WM 1.0 рассчитано на разработчиков беспилотного транспорта, производителей промышленных и сервисных роботов, команды компьютерного зрения, а также исследовательские центры, университеты и стартапы.
По данным Сбера, Kandinsky WM уже используют Центр робототехники компании для обучения собственных роботов и институт AIRI для создания дорожного симулятора.
Код и веса моделей опубликованы по лицензии MIT. Это позволит разработчикам использовать их бесплатно.
115432, г. Москва, вн. тер. г. муниципальный округ Даниловский, пр-кт Андропова, д. 18, к. 3.
Источник: https://rb.ru/news/sber-predstavil-kandinsky-wm-ii-modeli-pomogut-obuchat-robotov-i-bespilotnye-taksi-bez-realnyh-ispytanij/
