En la carrera por desarrollar sistemas de percepción robustos para robots, un desafío persistente ha sido operar en condiciones climáticas adversas y adversas. Por ejemplo, los sensores de visión tradicionales basados en la luz, como las cámaras o LiDAR (detección y alcance de luz), fallan en presencia de humo y niebla densos.
Sin embargo, la naturaleza ha demostrado que la visión no tiene por qué estar limitada por las limitaciones de la luz: muchos organismos han desarrollado formas de percibir su entorno sin depender de la luz. Los murciélagos navegan utilizando los ecos de las ondas sonoras, mientras que los tiburones cazan detectando campos eléctricos de los movimientos de sus presas.
Las ondas de radio, cuyas longitudes de onda son órdenes de magnitud más largas que las ondas de luz, pueden penetrar mejor el humo y la niebla, e incluso pueden ver a través de ciertos materiales, todas capacidades más allá de la visión humana. Sin embargo, los robots tradicionalmente han dependido de una caja de herramientas limitada: usan cámaras y LiDAR, que proporcionan imágenes detalladas pero fallan en condiciones difíciles, o radar tradicional, que puede ver a través de paredes y otras oclusiones pero produce imágenes toscas y de baja resolución.
Ahora, investigadores de la Facultad de Ingeniería y Ciencias Aplicadas de la Universidad de Pensilvania (Penn Engineering) han desarrollado PanoRadar, una nueva herramienta para dar a los robots una visión sobrehumana transformando ondas de radio simples en vistas detalladas en 3D del entorno.
“Nuestra pregunta inicial period si podíamos combinar lo mejor de ambas modalidades de detección”, cube Mingmin Zhao, profesor asistente de Informática y Ciencias de la Información. “La robustez de las señales de radio, que son resistentes a la niebla y otras condiciones difíciles, y la alta resolución de los sensores visuales”.
En un documento que se presentará en la Conferencia Internacional sobre Computación Móvil y Redes (MobiCom) de 2024, Zhao y su equipo del Laboratorio Inalámbrico, Audio, Visión y Electrónica para Sensación (WAVES) y Penn Analysis In Embedded Computing and Built-in Programs Ingeniería (PRECISE), que incluye al estudiante de doctorado Haowen Lai, el recién graduado de maestría Gaoxiang Luo y el asistente de investigación de pregrado Yifei (Freddy) Liu, describen cómo PanoRadar aprovecha las ondas de radio y las ondas artificiales. inteligencia (IA) para permitir que los robots naveguen incluso en los entornos más desafiantes, como edificios llenos de humo o caminos con niebla.
PanoRadar es un sensor que funciona como un faro que barre su haz en círculo para escanear todo el horizonte. El sistema consta de un conjunto vertical giratorio de antenas que escanea su entorno. A medida que giran, estas antenas envían ondas de radio y escuchan sus reflejos en el entorno, de forma muy parecida a cómo el haz de un faro revela la presencia de barcos y accidentes costeros.
Gracias al poder de la IA, PanoRadar va más allá de esta easy estrategia de escaneo. A diferencia de un faro que simplemente ilumina diferentes áreas a medida que gira, PanoRadar combina inteligentemente mediciones desde todos los ángulos de rotación para mejorar la resolución de sus imágenes. Si bien el sensor en sí es solo una fracción del costo de los sistemas LiDAR típicamente costosos, esta estrategia de rotación crea una densa variedad de puntos de medición virtuales, lo que permite a PanoRadar lograr una resolución de imagen comparable a la de LiDAR. “La innovación clave está en cómo procesamos estas mediciones de ondas de radio”, explica Zhao. “Nuestros algoritmos de procesamiento de señales y aprendizaje automático pueden extraer información 3D rica del entorno”.
Uno de los mayores desafíos que enfrentó el equipo de Zhao fue desarrollar algoritmos para mantener imágenes de alta resolución mientras el robotic se mueve. “Para lograr una resolución comparable a la de LiDAR con señales de radio, necesitábamos combinar mediciones desde muchas posiciones diferentes con una precisión submilimétrica”, explica Lai, autor principal del artículo. “Esto resulta especialmente complicado cuando el robotic está en movimiento, ya que incluso los pequeños errores de movimiento pueden afectar significativamente a la calidad de la imagen”.
Otro desafío que abordó el equipo fue enseñar a su sistema a comprender lo que ve. “Los ambientes interiores tienen patrones y geometrías consistentes”, cube Luo. “Aprovechamos estos patrones para ayudar a nuestro sistema de inteligencia synthetic a interpretar las señales del radar, de manera related a cómo los humanos aprenden a darle sentido a lo que ven”. Durante el proceso de capacitación, el modelo de aprendizaje automático se basó en datos LiDAR para comparar su comprensión con la realidad y pudo continuar mejorándose.
“Nuestras pruebas de campo en diferentes edificios mostraron cómo la detección por radio puede sobresalir donde los sensores tradicionales tienen dificultades”, cube Liu. “El sistema mantiene un seguimiento preciso a través del humo e incluso puede mapear espacios con paredes de vidrio”. Esto se debe a que las partículas en el aire no bloquean fácilmente las ondas de radio y el sistema puede incluso “capturar” cosas que el LiDAR no puede, como superficies de vidrio. La alta resolución de PanoRadar también significa que puede detectar personas con precisión, una característica crítica para aplicaciones como vehículos autónomos y misiones de rescate en entornos peligrosos.
De cara al futuro, el equipo planea explorar cómo PanoRadar podría funcionar junto con otras tecnologías de detección como cámaras y LiDAR, creando sistemas de percepción multimodal más robustos para robots. El equipo también está ampliando sus pruebas para incluir varias plataformas robóticas y vehículos autónomos. “Para tareas de alto riesgo, es essential tener múltiples formas de detectar el entorno”, cube Zhao. “Cada sensor tiene sus fortalezas y debilidades y, combinándolos de manera inteligente, podemos crear robots que estén mejor equipados para manejar los desafíos del mundo actual”.
Este estudio se llevó a cabo en la Escuela de Ingeniería y Ciencias Aplicadas de la Universidad de Pensilvania y recibió el apoyo de un fondo inicial para profesores.
