El océano está lleno de vida. Pero a menos que se acerque, gran parte del mundo marino puede permanecer fácilmente invisible. Esto se debe a que el agua en sí misma puede actuar como una capa efectiva: la luz que brilla a través del océano puede doblarse, dispersarse y desvanecerse rápidamente a medida que viaja a través del medio denso de agua y refleja la bruma persistente de las partículas del océano. Esto hace que sea extremadamente desafiante capturar el verdadero coloration de los objetos en el océano sin imágenes a corta distancia.
Ahora, un equipo de MIT y la Institución Oceanográfica de Woods Gap (WHOI) ha desarrollado una herramienta de análisis de imágenes que atraviesa los efectos ópticos del océano y genera imágenes de entornos submarinos que parecen escapar, revelando los verdaderos colores de una escena oceánica. El equipo combinó la herramienta de corrección de colores con un modelo computacional que convierte imágenes de una escena en un “mundo” submarino tridimensional, que luego se puede explorar virtualmente.
Los investigadores han denominado la nueva herramienta “Seasplat”, en referencia tanto a su aplicación submarina como a un método conocido como Splatting Gaussian 3D (3DGS), que toma imágenes de una escena y las une para generar una representación tridimensional completa que se puede ver en detalle, desde cualquier perspectiva.
“Con Seasplat, puede modelar explícitamente lo que está haciendo el agua y, como resultado, puede eliminar de alguna manera el agua y produce mejores modelos 3D de una escena submarina”, cube el estudiante graduado del MIT Daniel Yang.
Los investigadores aplicaron a Seasplat a imágenes del fondo marino tomado por buzos y vehículos submarinos, en varios lugares, incluidas las Islas Vírgenes de los Estados Unidos. El método generó “mundos” 3D a partir de las imágenes que eran más verdaderas y más vívidas y variadas en coloration, en comparación con los métodos anteriores.
El equipo cube que Seasplat podría ayudar a los biólogos marinos a monitorear la salud de ciertas comunidades oceánicas. Por ejemplo, mientras un robotic submarino explora y toma fotos de un arrecife de coral, Seasplat procesaría simultáneamente las imágenes y representaría una representación de coloration verdadero y 3D, que los científicos podrían “volar” virtualmente a través, a su propio ritmo y camino, para inspeccionar la escena submarina, por ejemplo, por ejemplo, por signos de la blanqueo de coral.
“El blanqueo se ve blanco desde cerca, pero podría parecer azul y nebuloso desde muy lejos, y es posible que no puedas detectarlo”, cube Yogesh Girdhar, un científico asociado de Whoi. “El blanqueamiento de coral y las diferentes especies de coral podrían ser más fáciles de detectar con las imágenes del plato marino, para obtener los verdaderos colores en el océano”.
Girdhar y Yang presentarán un documento que detalla el plato SeMAT en la Conferencia Internacional IEEE sobre Robótica y Automatización (ICRA). Su coautor de estudio es John Leonard, profesor de ingeniería mecánica en el MIT.
Óptica acuática
En el océano, el coloration y la claridad de los objetos se distorsionan por los efectos de la luz que viaja a través del agua. En los últimos años, los investigadores han desarrollado herramientas de corrección de colores que tienen como objetivo reproducir los verdaderos colores en el océano. Estos esfuerzos implicaron la adaptación de herramientas que se desarrollaron originalmente para entornos fuera del agua, por ejemplo, para revelar el verdadero coloration de las características en condiciones de niebla. Un trabajo reciente reproduce con precisión los colores verdaderos en el océano, con un algoritmo llamado “Sea-Through”, aunque este método requiere una gran cantidad de potencia computacional, lo que hace que su uso en la producción de modelos de escenas 3D sea desafiante.
Paralelamente, otros han logrado avances en la estallido gaussiano 3D, con herramientas que unen perfectamente imágenes de una escena juntos, y completan inteligentemente cualquier vacío para crear una versión 3D completa de la escena. Estos mundos 3D permiten “síntesis de visión novedosa”, lo que significa que alguien puede ver la escena 3D generada, no solo desde la perspectiva de las imágenes originales, sino desde cualquier ángulo y distancia.
Pero 3DGS solo se ha aplicado con éxito a entornos fuera del agua. Los esfuerzos para adaptar la reconstrucción 3D a las imágenes submarinas se han visto obstaculizados, principalmente por dos efectos submarinos ópticos: retrodispersión y atenuación. La retrodispersión ocurre cuando la luz se refleja en pequeñas partículas en el océano, creando una neblina con forma de velo. La atenuación es el fenómeno por el cual la luz de ciertas longitudes de onda atenúa, o se desvanece con la distancia. En el océano, por ejemplo, los objetos rojos parecen desvanecerse más que los objetos azules cuando se ven desde más lejos.
Fuera del agua, el coloration de los objetos parece más o menos el mismo independientemente del ángulo o la distancia desde el cual se ven. Sin embargo, en el agua, el coloration puede cambiar y desvanecerse rápidamente según la perspectiva de uno. Cuando los métodos 3DGS intentan coser las imágenes submarinas en un complete de 3D cohesivo, no pueden resolver objetos debido a la retrodispersión acuática y los efectos de atenuación que distorsionan el coloration de los objetos en diferentes ángulos.
“Un sueño de visión robótica submarina que tenemos es: imagina que si pudieras quitar toda el agua del océano. ¿Qué verías?” Leonard cube.
Un modelo de natación
En su nuevo trabajo, Yang y sus colegas desarrollaron un algoritmo de corrección de colores que explica los efectos ópticos de la retrodispersión y la atenuación. El algoritmo determina el grado en que cada píxel en una imagen debe haber sido distorsionado por los efectos de retrodispersión y la atenuación, y luego esencialmente elimina esos efectos acuáticos y calcula cuál debe ser el verdadero coloration del píxel.
Yang luego trabajó en el algoritmo de corrección de colores en un modelo de chapuzón gaussiano 3D para crear SEAPLAT, que puede analizar rápidamente las imágenes submarinas de una escena y generar una versión digital 3D de coloration 3D de la misma escena que se puede explorar en detalle desde cualquier ángulo y distancia.
El equipo aplicó SEAPLAT a múltiples escenas submarinas, incluidas las imágenes tomadas en el Mar Rojo, en el Caribe, frente a la costa de Curazao, y al Océano Pacífico, cerca de Panamá. Estas imágenes, que el equipo tomó de un conjunto de datos preexistente, representan una gama de ubicaciones oceánicas y condiciones de agua. También probaron SEAPLAT en imágenes tomadas por un robotic submarino controlado remoto en las Islas Vírgenes de los Estados Unidos.
A partir de las imágenes de cada escena oceánica, Seasplat generó un mundo 3D de coloration verdadero que los investigadores pudieron explorar virtualmente, por ejemplo, acercando y saliendo de una escena y viendo ciertas características desde diferentes perspectivas. Incluso cuando se ve desde diferentes ángulos y distancias, encontraron objetos en cada escena conservaban su verdadero coloration, en lugar de desvanecerse como lo harían si se vean a través del océano actual.
“Una vez que genera un modelo 3D, un científico puede” nadar “a través del modelo como si estuvieran buceando y mirar las cosas con gran detalle, con coloration actual”, cube Yang.
Por ahora, el método requiere fuertes recursos informáticos en forma de una computadora de escritorio que sería demasiado voluminosa para llevar a bordo de un robotic submarino. Aún así, Seasplat podría funcionar para operaciones atadas, donde un vehículo, atado a un barco, puede explorar y tomar imágenes que se pueden enviar a la computadora de un barco.
“Este es el primer enfoque que puede construir muy rápidamente modelos 3D de alta calidad con colores precisos, bajo el agua, y puede crearlos y renderizarlos rápidamente”, cube Girdhar. “Eso ayudará a cuantificar la biodiversidad y evaluar la salud de los arrecifes de coral y otras comunidades marinas”.
Este trabajo fue apoyado, en parte, por el Fondo de Inversión en Ciencias en WHOI, y por la Fundación Nacional de Ciencias de los Estados Unidos.
