Imagínese sentado en una sala de cine a oscuras preguntándose cuánto refresco queda en su vaso de gran tamaño. En lugar de quitar la tapa y mirar, levantas y agitas un poco la taza para escuchar cuánto hielo hay dentro, lo que te da una indicación decente de si necesitarás una recarga gratuita.
Al volver a dejar la bebida, uno se pregunta distraídamente si el reposabrazos es de madera auténtica. Sin embargo, después de darle unos cuantos golpecitos y escuchar un eco hueco, decides que debe ser de plástico.
Esta capacidad de interpretar el mundo a través de las vibraciones acústicas que emanan de un objeto es algo que hacemos sin pensar. Y es una capacidad que los investigadores están a punto de incorporar a los robots para aumentar su conjunto de capacidades de detección en rápido crecimiento.
Una nueva investigación de la Universidad de Duke, que se publicará en la Conferencia sobre Aprendizaje de Robots (CoRL 2024), que se celebrará del 6 al 9 de noviembre en Munich, Alemania, detalla un sistema denominado SonicSense que permite a los robots interactuar con su entorno de formas que antes estaban limitadas a los humanos.
“Hoy en día, los robots dependen principalmente de la visión para interpretar el mundo”, explicó Jiaxun Liu, autor principal del artículo y doctorado de primer año. Estudiante en el laboratorio de Boyuan Chen, profesor de ingeniería mecánica y ciencia de materiales en Duke. “Queríamos crear una solución que pudiera funcionar con objetos complejos y diversos que se encuentran a diario, dando a los robots una capacidad mucho más rica para ‘sentir’ y comprender el mundo”.
SonicSense Presenta una mano robótica con cuatro dedos, cada uno equipado con un micrófono de contacto integrado en la punta del dedo. Estos sensores detectan y registran las vibraciones generadas cuando el robotic golpea, agarra o sacude un objeto. Y debido a que los micrófonos están en contacto con el objeto, le permite al robotic desconectarse de los ruidos ambientales.
En función de las interacciones y señales detectadas, SonicSense extrae características de frecuencia y utiliza su conocimiento previo, junto con avances recientes en inteligencia synthetic, para descubrir de qué materials está hecho el objeto y su forma 3D. Si se trata de un objeto que el sistema nunca ha visto antes, podrían ser necesarias 20 interacciones diferentes para que el sistema llegue a una conclusión. Pero si ya es un objeto en su base de datos, puede identificarlo correctamente en tan solo cuatro.
“SonicSense “Da a los robots una nueva forma de oír y sentir, muy parecida a la de los humanos, lo que puede transformar la forma en que los robots actuales perciben e interactúan con los objetos”, dijo Chen, quien también tiene nombramientos y estudiantes de ingeniería eléctrica e informática y ciencias de la computación. “Si bien la visión es esencial “El sonido añade capas de información que pueden revelar cosas que el ojo podría pasar por alto”.
En el artículo y las demostraciones, Chen y su laboratorio muestran una serie de capacidades habilitadas por SonicSense. Al girar o agitar una caja llena de dados, puede contar el número que contiene y su forma. Al hacer lo mismo con una botella de agua, puede saber cuánto líquido contiene en su inside. Y al tocar el exterior de un objeto, de forma muy parecida a como los humanos exploran objetos en la oscuridad, puede construir una reconstrucción 3D de la forma del objeto y determinar de qué materials está hecho.
Mientras SonicSense No es el primer intento de utilizar este enfoque, va más allá y funciona mejor que trabajos anteriores al usar cuatro dedos en lugar de uno, micrófonos táctiles que desconectan el ruido ambiental y técnicas avanzadas de inteligencia synthetic. Esta configuración permite al sistema identificar objetos compuestos de más de un materials con geometrías complejas, superficies transparentes o reflectantes y materiales que representan un desafío para los sistemas basados en visión.
“Si bien la mayoría de los conjuntos de datos se recopilan en entornos de laboratorio controlados o con intervención humana, necesitábamos que nuestro robotic interactuara con los objetos de forma independiente en un entorno de laboratorio abierto”, dijo Liu. “Es difícil replicar ese nivel de complejidad en simulaciones. Esta brecha entre los datos controlados y los del mundo actual es crítica, y SonicSense une eso al permitir que los robots interactúen directamente con las diversas y desordenadas realidades del mundo físico”.
Estas habilidades hacen SonicSense una base sólida para entrenar robots para que perciban objetos en entornos dinámicos y no estructurados. También lo hace su costo; El uso de los mismos micrófonos de contacto que utilizan los músicos para grabar el sonido de las guitarras, la impresión 3D y otros componentes disponibles comercialmente mantiene los costos de construcción en poco más de 200 dólares.
En el futuro, el grupo está trabajando para mejorar la capacidad del sistema para interactuar con múltiples objetos. Al integrar algoritmos de seguimiento de objetos, los robots podrán manejar entornos dinámicos y desordenados, acercándolos a una adaptabilidad comparable a la humana en tareas del mundo actual.
Otro avance clave reside en el diseño de la propia mano del robotic. “Esto es sólo el comienzo. En el futuro, imaginamos SonicSense “Se está utilizando en manos robóticas más avanzadas con diestras habilidades de manipulación, lo que permite a los robots realizar tareas que requieren un sentido matizado del tacto”, dijo Chen. “Estamos entusiasmados de explorar cómo se puede desarrollar aún más esta tecnología para integrar múltiples modalidades sensoriales, como como presión y temperatura, para interacciones aún más complejas”.
Este trabajo fue apoyado por el programa STRONG del laboratorio de investigación del ejército (W911NF2320182, W911NF2220113) y el programa FoundSci de DARPA (HR00112490372) y TIAMAT (HR00112490419).
CITA: “SonicSense: percepción de objetos a partir de vibraciones acústicas en la mano“, Jiaxun Liu, Boyuan Chen. Conferencia sobre aprendizaje de robots, 2024. Versión ArXiv disponible en: 2406.17932v2 y en el sitio internet del Laboratorio Normal de Robótica.
