Google DeepMind анонсировала Gemini Robotics 2 — ИИ-систему для управления полным телом человекоподобных роботов. В состав решения входят три модели для преобразования визуальных данных в движения, сложных многоэтапных задач и локальной адаптации.

Google DeepMind объявила о запуске Gemini Robotics 2 — новой системы искусственного интеллекта для управления движениями всего тела человекоподобных роботов. Она предназначена для выполнения действий вроде ходьбы, приседаний и манипуляций предметами с помощью пятипалых рук. Gemini Robotics 2 объединяет три модели. Gemini Robotics 2 преобразует визуальные данные и инструкции в скоординированные движения. ER 2 управляет сложными многоэтапными задачами, отслеживая сотни решений и координируя работу нескольких роботов одновременно. On-Device 2 работает локально и может адаптироваться к новому двухрукому роботу, используя менее 200 примеров обучения, собранных в течение нескольких часов. Система была протестирована на различных версиях человекоподобного робота Apollo от Apptronik и робота Franka Duo с использованием одного и того же контрольного состояния системы. Сообщается, что показатели производительности варьируются: успешность выполнения задач с участием всего тела составляет от 45,7% до 76,3%. В задачах манипуляции результаты колеблются от 32% для использования совка до 92% для откручивания лампочки.

Источники 1
  • Google DeepMind представила Gemini Robotics 2 для управления движениями человекоподобных роботов AI Post
    Google DeepMind has announced Gemini Robotics 2, a new AI system designed to control the full-body movements of humanoid robots, including walking, crouching, and manipulating objects with five-fingered hands.
    
    The system integrates three main models. Gemini Robotics 2 translates visual input and instructions into coordinated movement. ER 2 manages complex, multi-minute tasks, tracking hundreds of decisions while coordinating multiple robots. On-Device 2 operates locally and can adjust to a new two-armed robot using fewer than 200 training examples gathered over several hours.
    
    Robotics 2 has been tested on different versions of Apptronik’s Apollo humanoid and the Franka Duo robot, using the same system checkpoint.
    
    Reported performance varies, with whole-body task success rates from 45.7% to 76.3%. In manipulation tasks, results range from 32% for dustpan use to 92% for unscrewing a light bulb.
    
    📰 @aipost