|
Escuche este artículo  |
Los nuevos flujos de trabajo del Proyecto GR00T y las herramientas del modelo mundial de IA están destinados a ayudar a los desarrolladores de destreza, management, manipulación y movilidad de robots. Fuente: NVIDIA
NVIDIA Corp. anunció hoy nuevas herramientas de simulación e inteligencia synthetic para acelerar el desarrollo de robots, incluidos los humanoides. También en la Conferencia para el Aprendizaje Robótico, Hugging Face Inc. y NVIDIA dijeron que están combinando sus esfuerzos de robótica e inteligencia synthetic de código abierto para acelerar la investigación y el desarrollo.
Las herramientas incluyen NVIDIA, disponible de forma generalizada. Laboratorio Isaac marco de aprendizaje de robots y seis nuevos flujos de trabajo de aprendizaje de robots para el Proyecto GR00T iniciativa para acelerar humanoide desarrollo. También incluyen nuevas herramientas de desarrollo de modelos mundiales para la curación y el procesamiento de datos de vídeo, incluida NVIDIA. Tokenizador de cosmos y NVIDIA Curador de NeMo para procesamiento de vídeo.
Hugging Face dijo que su plataforma abierta de IA LeRobot combinada con IA de NVIDIA, Omniverso y isaac La tecnología robótica permitirá avances en industrias como fabricación, cuidado de la saludy logística.
NVIDIA Isaac Lab para ayudar a entrenar humanoides
Isaac Lab es un software program de código abierto. aprendizaje de robots marco construido en NVIDIA Omniversouna plataforma para el desarrollo AbiertoUSD aplicaciones para la digitalización industrial y IA física simulación. Desarrolladores puede usar Isaac Lab capacitará políticas a escala para todo tipo de movimiento de robots, desde robots colaborativos y cuadrúpedos a humanoides, dijo NVIDIA.
La compañía dijo que entidades de investigación líderes, fabricantes de robótica y desarrolladores de aplicaciones de todo el mundo están utilizando Isaac Lab. ellos incluyen 1X, Robótica de agilidad, El Instituto de IA, Humanoide de Berkeley, Dinámica de Boston, IA de campo, Fourier, galbot, Robótica aprendiz, Skid IA, Milla suiza, Robótica Unitreey Robótica XPENG.
A guía para migrar de Isaac Health club está disponible en línea y NVIDIA Isaac Lab 1. está disponible en línea. disponible ahora en GitHub.
El proyecto GR00T ofrece planos para robots de uso normal
Anunciado en En la Conferencia de Tecnología de Unidades de Procesamiento de Gráficos (GTC) en marzo, el Proyecto GR00T tiene como objetivo desarrollar bibliotecas, modelos básicos y canales de datos para ayudar al ecosistema world de desarrolladores de robots humanoides. NVIDIA ha agregado seis nuevos flujos de trabajo próximamente para ayudar a los robots a percibir, moverse e interactuar con las personas y sus entornos:
- GR00T-Gen para crear entornos 3D generativos basados en OpenUSD impulsados por IA
- GR00T-Mimic para generación de movimiento y trayectoria de robotic
- GR00T-Destreza para manipulación diestra del robotic
- GR00T-Management para el management de todo el cuerpo
- GR00T-Movilidad para locomoción y navegación de robots
- GR00T-Percepción para detección multimodal
“Los robots humanoides son la próxima ola de IA incorporada”, dijo Jim Fan, gerente senior de investigación de IA incorporada en NVIDIA. “Los equipos de investigación e ingeniería de NVIDIA están colaborando en toda la empresa y en nuestro ecosistema de desarrolladores para construir el Proyecto GR00T para ayudar a avanzar en el progreso y el desarrollo de los desarrolladores de robots humanoides globales”.
El proyecto GR00T ahora incluye seis nuevos flujos de trabajo para acelerar el desarrollo humanoide. Fuente: NVIDIA
Los tokenizadores Cosmos minimizan la distorsión
A medida que los desarrolladores construyen modelos mundiales, o representaciones de IA de cómo los objetos y entornos podrían responder a las acciones de un robotic, necesitan miles de horas de datos de imágenes o movies del mundo actual. NVIDIA dijo que sus tokenizadores Cosmos brindan codificación y decodificación de alta calidad para simplificar el desarrollo de estos modelos mundiales con mínima distorsión e inestabilidad temporal.
La compañía dijo que el tokenizador Cosmos de código abierto funciona hasta 12 veces más rápido que los tokenizadores actuales. Esta disponible ahora en GitHub y abrazando la cara. XPENG Robotics, Hillbot y 1X Applied sciences están utilizando el tokenizador.
“El tokenizador NVIDIA Cosmos logra una compresión temporal y espacial realmente alta de nuestros datos sin dejar de conservar la fidelidad visible”, dijo Eric Jang, vicepresidente de IA de 1X Applied sciences, que actualizó el conjunto de datos de 1X World Mannequin. “Esto nos permite entrenar modelos mundiales con generación de vídeo de largo plazo de una manera aún más eficiente en términos de computación”.
NeMo Curator maneja datos de vídeo
La curación de datos de vídeo plantea desafíos debido a su enorme tamaño, lo que requiere canalizaciones escalables y una orquestación eficiente para el equilibrio de carga entre las GPU. Además, los modelos de filtrado, subtítulos e incrustación necesitan optimización para maximizar el rendimiento, señaló NVIDIA.
NeMo Curator agiliza la curación de datos con la orquestación automática de canales, lo que cut back el tiempo de procesamiento de vídeo. La compañía dijo que este canal permite a los desarrolladores de robots mejorar la precisión de su modelo mundial mediante el procesamiento de datos de texto, imágenes y movies a gran escala.
El sistema admite el escalamiento lineal en sistemas de múltiples nodos y múltiples GPU, y maneja de manera eficiente más de 100 petabytes de datos. Esto puede simplificar el desarrollo de la IA, reducir costos y acelerar el tiempo de comercialización, afirmó NVIDIA.
NeMo Curator para procesamiento de vídeo estará disponible a finales de mes.
Hugging Face y NVIDIA comparten herramientas para datos y simulación
Hugging Face y NVIDIA anunciaron en la Conferencia sobre Aprendizaje Robótico (CORL) en Munich, Alemania, que están colaborando para acelerar la investigación en robótica de código abierto con LeRobot, NVIDIA Isaac Lab y NVIDIA Jetson. Dijeron que sus marcos de código abierto permitirán “la period de IA física”, en el que los robots entienden sus entornos y transformar la industria.
Más de cinco millones de investigadores de aprendizaje automático utilizan la plataforma de inteligencia synthetic de Hugging Face, con sede en Nueva York, que incluye API con más de 1,5 millones de modelos, conjuntos de datos y aplicaciones. LeRobot ofrece herramientas para compartir recopilación de datos, entrenamiento de modelos y entornos de simulación, así como kits de manipuladores de bajo costo.
Esas herramientas ahora funcionan con Isaac Lab en Isaac Simpermitiendo el entrenamiento de robots mediante demostración o prueba y error en situaciones realistas. simulación. El flujo de trabajo colaborativo planificado implica la recopilación de datos a través de teleoperación y simulación en Isaac Lab, almacenándolo en el formato estándar LeRobotDataset.
Los datos generados con GR00T-Mimic se utilizarán luego para entrenar una política de robotic con aprendizaje por imitación, que posteriormente se evalúa en simulación. Finalmente, la política validada se implementa en robots del mundo actual con NVIDIA Jetson para realizar inferencias en tiempo actual.
Los pasos iniciales en esta colaboración han mostrado una configuración de recolección física con software program lerobot ejecutándose en NVIDIA Jetson Orin Nano, lo que proporciona una plataforma informática compacta para su implementación.
“La combinación de la comunidad de código abierto Hugging Face con el {hardware} de NVIDIA y la simulación de Isaac Lab tiene el potencial de acelerar la innovación en IA para robótica”, afirmó Remi Cadene, científico investigador principal de LeRobot.
También en CoRL, NVIDIA publicó 23 artículos y presentó nueve talleres relacionados con los avances en aprendizaje de robots. Los artículos cubren la integración de modelos de lenguaje de visión (VLM) para mejorar la comprensión ambiental y la ejecución de tareas, la navegación temporal de robots, el desarrollo de estrategias de planificación a largo plazo para tareas complejas de varios pasos y el uso de demostraciones humanas para la adquisición de habilidades.
Los artículos para el management de robots humanoides y la generación de datos sintéticos incluyen Generación de habilidadesun sistema basado en la generación de datos sintéticos para entrenar robots con mínimas demostraciones humanas, y FLOTARun modelo básico de robotic para controlar la locomoción y manipulación humanoide.
NVIDIA y Hugging Face, que colaboran en I+D de robótica e inteligencia synthetic de código abierto. Fuente: NVIDIA
