La riqueza de información proporcionada por nuestros sentidos que permite que nuestro cerebro navegue por el mundo que nos rodea es notable. El tacto, el olor, la audición y un fuerte sentido del equilibrio son cruciales para superar lo que para nosotros parecen entornos fáciles, como una caminata relajante en una mañana de fin de semana.
Una comprensión innata de la sobrecarga del dosel nos ayuda a descubrir a dónde conduce el camino. El fuerte chasquido de ramas o el suave cojín del musgo nos informa sobre la estabilidad de nuestra base. El trueno de un árbol que cae o se ramifica en fuertes vientos nos hace saber de los peligros potenciales cercanos.
Los robots, en contraste, se han basado solo en información visible como cámaras o lidar para moverse por el mundo. Fuera de Hollywood, la navegación multisensorial ha seguido siendo desafiante para las máquinas. El bosque, con su hermoso caos de densa maleza, troncos caídos y terreno en constante cambio, es un laberinto de incertidumbre para los robots tradicionales.
Ahora, los investigadores de la Universidad de Duke han desarrollado un marco novedoso llamado Fusión salvaje Eso fusiona la visión, la vibración y el tacto para permitir que los robots “detecten” entornos al aire libre complejos como lo hacen los humanos. El trabajo fue recientemente aceptado en la Conferencia Internacional de Robótica y Automatización de IEEE (ICRA 2025), que se llevará a cabo del 19 al 23 de mayo de 2025 en Atlanta, Georgia.
“Fusión salvaje Abre un nuevo capítulo sobre navegación robótica y mapeo 3D “, dijo Boyuan Chen, profesor asistente de la familia Dickinson de Ingeniería Mecánica y Ciencia de Materiales, Ingeniería Eléctrica e Informática e Informática en la Universidad de Duke.” Ayuda a los robots a operar de manera más confidencial en entornos no estructurados e impredecibles como bosques, zonas desastre y terreno de desplazamiento “.
“Los robots típicos dependen en gran medida de la visión o lidar solo, que a menudo vacilan sin caminos claros o puntos de referencia predecibles”, agregó Yanbaihui Liu, el autor principal y un doctorado de segundo año. Estudiante en el laboratorio de Chen. “Incluso los métodos avanzados de mapeo 3D luchan por reconstruir un mapa continuo cuando los datos del sensor son escasos, ruidosos o incompletos, lo cual es un problema frecuente en entornos al aire libre no estructurados. Ese es exactamente el desafío Fusión salvaje fue diseñado para resolver “.
Wildfusion, Construido en un robotic cuadrúpedo, integra múltiples modalidades de detección, incluida una cámara RGB, LiDAR, sensores de inercia y, en explicit, micrófonos de contacto y sensores táctiles. Como en los enfoques tradicionales, la cámara y el lidar capturan la geometría, el shade, la distancia y otros detalles visuales del entorno. Que hace Fusión salvaje Especial es su uso de vibraciones acústicas y tacto.
A medida que el robotic camina, los micrófonos de contacto registran las vibraciones únicas generadas por cada paso, capturando diferencias sutiles, como el crujido de hojas secas versus el suave squish del lodo. Mientras tanto, los sensores táctiles miden cuánta fuerza se aplica a cada pie, ayudando a la estabilidad o la resbaladiza del robotic en tiempo actual. Estos sentidos agregados también se complementan con el sensor inercial que recopila datos de aceleración para evaluar cuánto se tambalea el robotic, lanzando o rodando a medida que atraviesa un terreno desigual.
Cada tipo de datos sensoriales se procesa a través de codificadores especializados y se fusiona en una sola representación rica. En el corazón de Fusión salvaje es un modelo de aprendizaje profundo basado en la thought de representaciones neuronales implícitas. A diferencia de los métodos tradicionales que tratan el medio ambiente como una colección de puntos discretos, este enfoque modela superficies y características complejas continuamente, lo que permite que el robotic tome decisiones más inteligentes e intuitivas sobre dónde pisar, incluso cuando su visión está bloqueada o ambigua.
“Piense en ello como resolver un rompecabezas donde faltan algunas piezas, pero puedes imaginar intuitivamente la imagen completa”, explicó Chen. “Fusión salvajeEl enfoque multimodal de ‘S permite que el robotic’ full los espacios en blanco ‘cuando los datos del sensor son escasos o ruidosos, al igual que lo que hacen los humanos “.
Fusión salvaje fue probado en el Parque Estatal Eno River en Carolina del Norte, cerca del campus de Duke, ayudando con éxito a un robotic a navegar por densos bosques, pastizales y caminos de grava. “Ver al robotic navegar con confianza el terreno fue increíblemente gratificante”, compartió Liu. “Estas pruebas del mundo actual se demostraron Fusión salvajeLa notable capacidad de predecir con precisión la traversabilidad, mejorando significativamente la toma de decisiones del robotic en caminos seguros a través de un terreno desafiante “.
Mirando hacia el futuro, el equipo planea expandir el sistema incorporando sensores adicionales, como detectores térmicos o de humedad, para mejorar aún más la capacidad de un robotic para comprender y adaptarse a entornos complejos. Con su diseño modular versatile, Fusión salvaje Proporciona vastas aplicaciones potenciales más allá de los senderos forestales, incluida la respuesta a desastres en terrenos impredecibles, la inspección de la infraestructura remota y la exploración autónoma.
“Uno de los desafíos clave para la robótica precise es desarrollar sistemas que no solo funcionen bien en el laboratorio, sino que funcionan de manera confiable en entornos del mundo actual”, dijo Chen. “Eso significa robots que pueden adaptarse, tomar decisiones y seguir moviéndose incluso cuando el mundo se vuelve desordenado”.
Esta investigación fue apoyada por DARPA (HR00112490419, HR00112490372) y el Laboratorio de Investigación del Ejército (W911NF2320182, W911NF2220113).
