Gemini Robotics On-Gadget está destinado a hacer que los potentes modelos de robótica sean más accesibles y adaptables. | Fuente: Google DeepMind
Google DeepMind esta semana introdujo un modelo de robótica Géminis en el dispositivo para la destreza de uso normal y la adaptación rápida de tareas. Deepmind dijo que esta acción del lenguaje de visión, o VLA, el modelo traerá el razonamiento multimodal de Gemini 2.0 y la comprensión del mundo actual al mundo físico.
Géminis Robotics en el dispositivo es robótica modelo de base Para robots de dos brazos, diseñados para requerir recursos computacionales mínimos. Dado que el modelo está optimizado localmente y opera independientemente de una crimson de datos, DeepMind dijo que es útil para aplicaciones sensibles a la latencia. También puede garantizar la robustez en entornos con conectividad intermitente o cero.
Además de Gemini Robotics en el dispositivo, Profundo introdujo el equipment de desarrollo de software program de Gemini Robotics (Sdk). Los desarrolladores pueden usarlo para evaluar el modelo VLA para sus tareas y entornos, probarlo en DeepMind’s Mujoco Simulador de física, y adaptarlo rápidamente a nuevos dominios, con tan solo 50 a 100 demostraciones. Los desarrolladores pueden acceder al SDK registrándose en el programa de probador de confianza de Deepmind.
DeepMind se basa en Gemini 2.0 Momentum
Han pasado solo unos meses desde DeepMind introducido Géminis Robotics, y ya se está basando en sus capacidades de generalización de tareas y capacidades de destreza. La unidad de Google dijo que el modelo en el dispositivo es:
- Diseñado para una rápida experimentación con manipulación dexerous
- Adaptable a las nuevas tareas a través del ajuste para mejorar el rendimiento
- Optimizado para ejecutar localmente con inferencia de baja latencia
Gemini Robotics On-Gadget logra una fuerte generalización visible, semántica y conductual en una amplia gama de escenarios de prueba, afirmó la compañía. La plataforma también permite a los robots seguir las instrucciones del lenguaje pure y completar tareas altamente hábiles, como bolsas de desabrochación o ropa plegable. DeepMind aún ofrecerá el modelo de robótica Gemini para aquellos que buscan resultados similares sin limitaciones en el dispositivo.
Este sistema no se limita a tareas que funcionarán fuera de la caja. DeepMind dijo que los desarrolladores pueden adaptar el modelo para lograr un mejor rendimiento para aplicaciones específicas. La compañía probó el modelo en Siete tareas de manipulación dexerous de diversos grados de dificultad, incluido el cierre de una lonchera, el dibujo de una tarjeta y el aderezo para ensaladas.
DeepMind expande a Géminis a más realizaciones de robots
Mientras que DeepMind entrenó su modelo en el dispositivo solo para Aloha robots, pudo adaptar aún más el modelo a un bi-brazo Frango Robotic FR3 y el Apolo humanoide robotic por Apptronik.
En el FR3 Robotic, Deepmind dijo el AI El modelo siguió las instrucciones de uso normal. Podría manejar objetos y escenas previamente invisibles, completar tareas hábiles como doblar un vestido o ejecutar ensamblaje industrial tareas que requirieron precisión y destreza.
En el Apolo Humanoide, DeepMind adaptó el modelo a una realización significativamente diferente. El mismo modelo generalista puede seguir las instrucciones del lenguaje pure y manipular diferentes objetos, incluidos los objetos previamente invisibles, de manera normal, dijo la compañía.
DeepMind afirmó que está desarrollando todos sus modelos alineados con su Principios de IA y aplicar un enfoque de seguridad holística abarcando seguridad semántica y física. En la práctica, esto significa capturar Seguridad semántica y de contenido utilizando el API en vivo e interactuar los modelos con controladores críticos de seguridad de bajo nivel para ejecutar las acciones.
La compañía recomienda evaluar el sistema de extremo a extremo en su recientemente desarrollado punto de referencia de seguridad semántica y realizar ejercicios de equipo rojo en todos los niveles para exponer las vulnerabilidades de seguridad del modelo.
DeepMind agregó que su El equipo de desarrollo e innovación responsable (REDI) continúa analizando y asesorando sobre el impacto del mundo actual de todos los modelos de robótica de Géminis, encontrando formas de maximizar su impacto social y minimizar el riesgo. Su Consejo de Responsabilidad y Seguridad (RSC) luego revisa las evaluaciones, proporcionando comentarios para ayudar a maximizar aún más los beneficios y minimizar el riesgo.
Para obtener una comprensión más profunda del perfil de uso y seguridad de Gemini Robotics On-Gadget y para recopilar comentarios, la compañía inicialmente la está lanzando a un grupo selecto de probadores de confianza.
