Google DeepMind выпустила Gemini Robotics-ER 1.6 — обновлённую модель для рассуждений в робототехнике. Она работает как верхний слой принятия решений и помогает роботам понимать обстановку, а также самостоятельно планировать действия.
При необходимости модель может подключать внешние инструменты, включая Google Search и vision-language-action-модели. По данным DeepMind, новая версия превосходит Gemini Robotics-ER 1.5 и Gemini 3.0 Flash в задачах наведения на объекты, подсчёта предметов и распознавания успешного выполнения действий.
Компания также сообщила о заметном росте качества при считывании показаний приборов, таких как манометры и смотровые стекла. Эта функция была создана совместно с Boston Dynamics.
Для такой работы модель совмещает агентную обработку изображений и выполнение кода. Она увеличивает изображение, чтобы распознавать мелкие детали дисплея, использует функции указания и код для расчёта пропорций и расстояний, а затем применяет общие знания о физическом окружении, чтобы интерпретировать показания.
По информации DeepMind, робот Spot от Boston Dynamics уже использует эту возможность при инспекции систем.
Модель доступна через Gemini API и Google AI Studio. Для разработчиков также опубликован пример в Colab.
Источник: The Decoder, Google DeepMind.
