У вівторок Google DeepMind випустив нову мовну модель під назвою Gemini Robotics On-Device, яка може запускати завдання локально на роботах без підключення до Інтернету.

Ґрунтуючись на попередній моделі Gemini Robotics, яка була випущена в березні, Gemini Robotics On-Device може керувати рухами робота. Розробники можуть контролювати і тонко налаштовувати модель відповідно до різних потреб, використовуючи підказки природною мовою.

У бенчмарках Google стверджує, що модель працює на рівні, близькому до хмарної моделі Gemini Robotics. Компанія стверджує, що вона перевершує інші моделі на пристроях у загальних бенчмарках, хоча й не називає ці моделі.

У демонстраційному ролику компанія продемонструвала роботів, які виконують такі завдання, як розстібання блискавки на сумках і складання одягу. Google заявляє, що хоча модель була розроблена для роботів ALOHA, пізніше вона була адаптована для роботи з дворуким роботом Franka FR3 і гуманоїдним роботом Apollo від Apptronik.

Google стверджує, що дворукий робот Franka FR3 успішно справлявся зі сценаріями та об’єктами, яких він раніше не “бачив”, наприклад, виконував збірку на промисловій стрічці.

Google DeepMind також випускає Gemini Robotics SDK. Компанія заявила, що розробники можуть показати роботам від 50 до 100 демонстрацій завдань, щоб навчити їх виконувати нові завдання, використовуючи ці моделі на фізичному симуляторі MuJoCo.

Інші розробники моделей ШІ також занурюють свої пальці в робототехніку. Nvidia будує платформу для створення базових моделей для гуманоїдів; Hugging Face не лише розробляє відкриті моделі та набори даних для робототехніки, але й працює над роботами; а корейський стартап RLWRLD за підтримки Mirae Asset працює над створенням базових моделей для роботів.