Google DeepMind оголосила про запуск нових моделей Gemini Robotics 1.5 та Gemini Robotics-ER 1.5, створених на основі платформи Gemini. За словами керівниці напряму робототехніки Кароліни Парада, ці системи допомагають роботам «думати на кілька кроків вперед» і планувати виконання завдань у фізичному середовищі.

Якщо раніше моделі могли виконувати лише одну інструкцію за раз, то тепер вони здатні вирішувати складніші завдання: роботи можуть розділяти білизну за кольорами, пакувати валізу з урахуванням погоди у конкретному місті чи сортувати сміття, компост і перероблювані матеріали на основі даних з локального веб-пошуку.

Модель Gemini Robotics-ER 1.5 відповідає за розуміння середовища. Вона може аналізувати зображення та текст, а також звертатися до інструментів, зокрема Google Search, щоб отримати додаткову інформацію. Після цього вона формує покрокові інструкції для виконання завдання.

Модель Gemini Robotics 1.5 отримує ці інструкції та перетворює їх у дії, використовуючи зір та мовне розуміння для точного виконання рухів. За словами інженера Google DeepMind Канішки Рао, головним проривом стало вміння обмірковувати завдання перед виконанням, чого раніше роботам бракувало.

Ще одне нововведення — здатність роботів передавати навички незалежно від конструкції. Наприклад, завдання, виконане дворуким роботом ALOHA2, може бути автоматично повторене роботом Franka або гуманоїдом Apollo.