Los investigadores utilizaron el sistema, llamado LucidSim, para entrenar a un perro robotic en parkour, haciéndolo trepar por una caja y subir escaleras a pesar de que nunca había visto ningún dato del mundo actual. El enfoque demuestra cuán útil podría ser la IA generativa cuando se trata de enseñar a los robots a realizar tareas desafiantes. También plantea la posibilidad de que, en última instancia, podamos entrenarlos en mundos completamente virtuales. El investigación se presentó en la Conferencia sobre Aprendizaje de Robots (CoRL) la semana pasada.
“Estamos en medio de una revolución industrial para la robótica”, cube Ge Yang, postdoctorado en el Laboratorio de Ciencias de la Computación e Inteligencia Synthetic del MIT, que trabajó en el proyecto. “Este es nuestro intento de comprender el impacto de estos [generative AI] modelos fuera de sus propósitos originales, con la esperanza de que nos lleve a la próxima generación de herramientas y modelos”.
LucidSim utiliza una combinación de modelos de IA generativa para crear datos de entrenamiento visible. Primero, los investigadores generaron miles de mensajes para ChatGPT, logrando que creara descripciones de una variedad de entornos que representan las condiciones que el robotic encontraría en el mundo actual, incluidos diferentes tipos de clima, horas del día y condiciones de iluminación. Estos incluían “un antiguo callejón bordeado de casas de té y pequeñas y pintorescas tiendas, cada una de las cuales exhibe adornos y caligrafías tradicionales” y “el sol ilumina un césped algo descuidado salpicado de parches secos”.
Estas descripciones se introdujeron en un sistema que mapea datos de geometría y física en 3D en imágenes generadas por IA, creando movies cortos que trazan una trayectoria que el robotic debe seguir. El robotic utiliza esta información para calcular la altura, el ancho y la profundidad de los objetos por los que tiene que desplazarse: una caja o unas escaleras, por ejemplo.
Los investigadores probaron LucidSim instruyendo a un robotic de cuatro patas equipado con una cámara net para que completara varias tareas, incluida la localización de un cono de tráfico o una pelota de fútbol, trepar una caja y subir y bajar escaleras. El robotic funcionó consistentemente mejor que cuando ejecutaba un sistema entrenado en simulaciones tradicionales. En 20 pruebas para localizar el cono, LucidSim tuvo una tasa de éxito del 100 %, frente al 70 % de los sistemas entrenados en simulaciones estándar. De manera related, LucidSim alcanzó el balón de fútbol en otras 20 pruebas el 85 % de las veces, y solo el 35 % para el otro sistema.
Finalmente, cuando el robotic estaba ejecutando LucidSim, completó con éxito las 10 pruebas de subir escaleras, en comparación con solo el 50% del otro sistema.
CORTESÍA DEL MIT CSAIL
Es possible que estos resultados mejoren aún más en el futuro si LucidSim se basa directamente en sofisticados modelos de video generativo en lugar de una combinación de lenguaje, imagen y modelos de física, cube Phillip Isola, profesor asociado del MIT que trabajó en la investigación. .
El enfoque de los investigadores sobre el uso de la IA generativa es novedoso y allanará el camino para nuevas investigaciones más interesantes, afirma Mahi Shafiullah, estudiante de doctorado de la Universidad de Nueva York que está utilizando Modelos de IA para entrenar robots. No trabajó en el proyecto.
