El plan GR00T-Goals genera datos para capacitar al razonamiento y el comportamiento del robotic humanoide. Fuente: Nvidia
En Computex hoy en Taipei, Taiwán, Nvidia Corp., anunció Isaac Gr00T N1.5, la primera actualización de su modelo de base abierto, generalizado y personalizable para razonamiento y habilidades robotic humanoides. La compañía con sede en Santa Clara, California, también presentó Isaac Gr00T-Goals, un plan para generar datos de movimiento sintético, así como los sistemas Nvidia Blackwell para acelerar el desarrollo humanoide.
“La IA física y la robótica provocarán la próxima revolución industrial”, declaró Jensen Huang, fundador y CEO de Nvidia. “Desde cerebros de IA para robots hasta mundos simulados para practicar supercomputadoras de IA o AI para modelos de fundamento de entrenamiento, Nvidia proporciona bloques de construcción para cada etapa del viaje de desarrollo de la robótica”.
Humanoide y otros desarrolladores de robótica Agility Robotics, Boston Dynamics, Fourier, Foxlink, Galbot, Mentee Robotics, Neura Robotics, Basic Robotics, Skild AI y Xpeng Robotics están adoptando Nvidia Isaac Tecnologías de plataforma para avanzar en el desarrollo y el despliegue del robotic humanoide.
“La IA física es la próxima ola de IA”, dijo el reverendo Lebaredian, vicepresidente de Omniverso y tecnología de simulación en NVIDIA. “La IA física comprende las leyes de la física y puede generar acciones basadas en aportes de sensores. La IA física encarnará tres tipos principales de robots, instalaciones como las fábricas y almacenes de nuestros socios de Taiwán, robots de transporte, [industrial] robots, humanoides, manipuladores y amrs [autonomous mobile robots]. “
NVIDIA ISAAC GR00T El Blueprint de generación de datos cierra la brecha de datos
En su computex basicHuang dijo que los goals ISAAC GR00T pueden ayudar a generar grandes cantidades de datos de movimiento sintético. IA física Los desarrolladores pueden usar estas trayectorias neuronales para enseñar a los robots nuevos comportamientos, incluida la forma de adaptarse a entornos cambiantes.
Los desarrolladores pueden primero los modelos de Cosmos de Cosmos Poster-Prepare Predicto (WFMS) para sus robots. Luego, utilizando una sola imagen como entrada, GR00T-Goals genera movies del robotic que realiza nuevas tareas en nuevos entornos.
El plan luego extrae acción tokens – Datos comprimidos y digeribles – que se utilizan para enseñar a los robots cómo realizar estas nuevas tareas, dijo Nvidia. El plan GR00T-Goals complementa el Isaac Gr00T-Mimic Blueprintque fue lanzado en el GTC Conferencia en marzo.
Mientras que GR00T-Mimic usa el Nvidia Omniverso y Cosmos Plataformas Para aumentar los datos existentes, GR00T-Goals utiliza cosmos para generar datos completamente nuevos.
¡Ahora acepta presentaciones de sesión!
Nuevos modelos avanzan el desarrollo humanoide
Investigación de Nvidia Usé el plan GR00T-Goals para generar datos de capacitación sintética para desarrollar GR00T N1.5 – Una actualización de GR00T N1 – en solo 36 horas. En comparación, dijo que la recopilación handbook de datos humanos habría tomado casi tres meses.
El compañía afirmó que GR00T N1.5 Puede adaptarse mejor a nuevos entornos y configuraciones de espacio de trabajo, así como reconocer objetos a través de las instrucciones del usuario. Dijo que esta actualización mejora significativamente la tasa de éxito del modelo para tareas comunes de manejo y fabricación de materiales, como clasificar o guardar objetos.
GR00T N1.5 se puede implementar en la computadora Robotic Nvidia Jetson Thor, que se lanzará a finales de este año.
“GR00T N1.5 fue capacitado en datos sintéticos generados por el nuevo Grupo de Goals Blueprint”, explicó Lebaredian. “El mayor desafío en el desarrollo de robots es la brecha de datos. Es fácil para LLM [large language model] desarrolladores para entrenar modelos porque hay una gran cantidad de datos por ahí. Pero los robots deben aprender sobre los datos del mundo actual, que es costoso y requiere mucho tiempo para capturar “.
“Entonces, en lugar de capturar manualmente, ¿por qué no dejamos que los robots soñen datos?” Añadió. “Group Goals es un plan de generación de datos sintético basado en Nvidia Cosmos, un modelo de base de mundo abierto que pronto abrazará la cara. Primero, los desarrolladores de Cosmos Publish-Prepare predicen con datos de teleperación capturados para una sola tarea de robotic, como Decide and Place, en un entorno único”.
“Una vez que los desarrolladores, los desarrolladores pueden usar una sola imagen y nuevas indicaciones para generar sueños, el futuro de la imagen authentic”, continuó Lebaredian. “Los desarrolladores pueden solicitar recoger diferentes elementos, como el Apple aquí, o la lata aquí. Luego, los sueños se evalúan y filtran por Cosmos Razon, un nuevo modelo de razonamiento físico de IA, y etiquetados automáticamente con datos de acción y trayectoria”.
Los primeros usuarios de los modelos GR00T N incluyen Aeirobot, Foxlink, Lightwheel y Neura Robotics. Aeirobot Emplea el modelo para permitir que ALICE4 comprenda las instrucciones del lenguaje pure y ejecute flujos de trabajo complejos de pick-y lugar en entornos industriales.
Foxlink Group lo está utilizando para mejorar la flexibilidad y la eficiencia del manipulador del robotic industrial, mientras que Lightwheel lo está aprovechando para validar datos sintéticos para más rápido humanoide despliegue de robotic en fábricas. Robótica de Neura está evaluando el modelo para acelerar su desarrollo de sistemas de automatización de hogares.
https://www.youtube.com/watch?v=ge7vdgr_j1g
Simulación y marcos de generación de datos Capacitación de robotic de velocidad
Desarrollando altamente calificado robots humanoides Requiere una gran cantidad de datos diversos, que es costoso de capturar y procesar, señaló NVIDIA. Los robots deben ser probados en el mundo físico, lo que puede presentar costos y riesgos.
Para ayudar a cerrar la brecha de datos y pruebas, NVIDIA dio a conocer las siguientes tecnologías de simulación:
- Razón del cosmos nvidiaun nuevo WFM que utiliza un razonamiento de la cadena de pensamiento para ayudar a curar la calidad precisa y de mayor calidad Datos sintéticos para mod físicoEl capacitación, ahora está disponible en Cara abrazada.
- Cosmos predice 2utilizado en GR00T-Goals, pronto llegará a abrazar la cara, con mejoras de rendimiento para la generación mundial de alta calidad y la alucinación reducida.
- Nvidia Isaac Gr00T-Mimicun plan para generar cantidades exponencialmente grandes de trayectorias de movimiento sintético para la manipulación de robots, utilizando solo algunas manifestaciones humanas.
- Conjunto de datos de AI físico de código abiertoque ahora incluye 24,000 trayectorias de movimiento del robotic humanoides de alta calidad utilizadas para desarrollar modelos Gr00T n.
- Nvidia Isaac Sim 5.0un marco de generación de datos sintético y de simulación pronto será abiertamente Disponible en Github.
- Nvidia Isaac Lab 2.2un marco de aprendizaje de robots de código abierto, que admitirá nuevos entornos de evaluación para ayudar a los desarrolladores a probar los modelos Gr00T N.
Lebaredian promocionó cómo GR00T N1.5 puede acelerar el desarrollo: “Los desarrolladores usan estos sueños para aumentar los datos de capacitación, mejorar el rendimiento del modelo y reducir la necesidad de capturar manualmente los datos de teleperación por un issue de 20. Nuestro equipo de investigación capacitó a GR00T N1.5 utilizando sueños generados en 36 horas versus lo que habría tomado tres meses para una captura humana a la humana”.
¿Pueden los desarrolladores usar RTX Professional 6000, generación de datos sintéticos y simulación para construir robots además de los humanoides?
“Esencialmente, si piensas en lo que es un robotic humanoide, es una especie de superconjunto de muchos de los otros tipos de robots”, respondió Lebaredian El informe del robotic. “Tiene locomoción. Podría moverse como lo hace un AMR. Tiene brazos que pueden elegir en su lugar, como un manipulador de robotic”.
“Una de las razones por las que nos gusta centrarnos en los humanoides es que si puedes resolver el problema humanoide, todos los demás problemas en robótica se caen naturalmente desde allí”, afirmó. “Por lo tanto, el mismo proceso que usamos para generar los datos sintéticos y luego probarlos se aplica a cualquier tipo de robotic. Vemos muchos casos de uso para robots humanoides y una gran falta de datos”.
Foxconn y Foxlink están utilizando el plan de imitación GR00T para la generación de manipulación de movimiento sintético para acelerar sus tuberías de entrenamiento de robótica. La robótica de agilidad, la dinámica de Boston, Fourier, la robótica mentora, la robótica de neura y la robótica de Xpeng están simulando y entrenando a sus humanoides utilizando Isaac SIM e Isaac Lab.
Skild Ai está utilizando los marcos de simulación para desarrollar inteligencia basic de robots, y Basic Robotics los está integrando en su plataforma de inteligencia de robots.
El robotic de enfermería colaborativo de Foxconn es uno ejemplo de aplicaciones hospitalarias inteligentes desarrolladas con tecnologías NVIDIA. Fuente: Foxconn
Sistemas Nvidia Blackwell disponibles para los desarrolladores de robots
Los fabricantes de sistemas globales están construyendo Nvidia rtx professional 6000 Estaciones de trabajo y servidores. Nvidia dicho Ofrece una sola arquitectura para ejecutar fácilmente cargas de trabajo de desarrollo de robots a través de capacitación, generación de datos sintéticos, aprendizaje de robots y simulación. Esto es parte de su estrategia de crear “Fábricas de IA” con socios como Foxconn.
Cisco, Dell Applied sciences, Hewlett-Packard Enterprise, Lenovo y Supermicro han anunciado RTX Professional 6000 Blackwell-Los servidores con potencia, que se utilizarán para cosas como la investigación de computación cuántica. Mientras tanto, Dell Applied sciences, HPI y Lenovo han anunciado Estaciones de trabajo NVIDIA RTX PRO 6000 POLERSED.
Cuando se requiere más cómputo para ejecutar cargas de trabajo de entrenamiento o generación de datos a gran escala, los desarrolladores pueden aprovechar sistemas Blackwell como GB200 NVL72, disponible con Nvidia dgx nube en proveedores de nubes líderes y Nvidia Cloud Companions – Para lograr un rendimiento de hasta 18 veces mayor para el procesamiento de datos, dijo Nvidia. Los desarrolladores pueden implementar sus modelos en Nvidia Jetson Agx Thor, que llegará pronto, para acelerar la inferencia y el tiempo de ejecución.
Los desarrolladores pueden implementar sus modelos de Robotic Basis en la plataforma Jetson Thor. La compañía dijo que también llegará pronto para acelerar la inferencia en el robotic y el rendimiento del tiempo de ejecución.
Nvidia también anunció lo siguiente:
Los servidores RTX Professional Blackwell ofrecen aceleración para aplicaciones de IA, diseño, ingeniería y negocios para construir infraestructura de TI con el nuevo diseño validado de Nvidia Enterprise AI Manufacturing facility Validado. Fuente: Nvidia
