Para combatir los atajos y la toma de riesgos, Lorenzo está trabajando en una herramienta para la compañía con sede en San Francisco Dronedeploy, que vende software program que crea modelos digitales diarios de progreso laboral de movies e imágenes, conocidos en el comercio como “captura de realidad”. La herramienta, llamada Security AI, analiza las imágenes de captura de realidad de cada día y Condiciones de los indicadores que violan la Administración de Seguridad y Salud Ocupacional (OSHA) Reglas, con lo que él cube es una precisión del 95%.
Eso significa que para cualquier riesgo de seguridad los indicadores de software program, hay 95% de certeza de que el indicador es preciso y se relaciona con una regulación específica de OSHA. Lanzado en octubre de 2024, ahora se está desplegando en cientos de sitios de construcción en los Estados Unidos, cube Lorenzo, y también se han desplegado versiones específicas de las regulaciones de construcción en países como Canadá, el Reino Unido, Corea del Sur y Australia.
Security AI es una de las múltiples herramientas de seguridad de construcción de IA que han surgido en los últimos años, de Valle de Silicon a Hong Kong a Jerusalén. Muchos de estos dependen de equipos de “clickers” humanos, a menudo en países de bajos salarios, para dibujar manualmente cuadros delimitadores alrededor de imágenes de objetos clave como escaleras, para etiquetar grandes volúmenes de datos para entrenar un algoritmo.
Lorenzo cube que la IA de seguridad es la primera en usar IA generativa para violar las violaciones de seguridad, lo que significa un algoritmo que puede hacer más que reconocer objetos como escaleras o sombreros. El software program puede “razonar” sobre lo que está sucediendo en una imagen de un sitio y sacar una conclusión sobre si hay una violación de OSHA. Esta es una forma de análisis más avanzada que la detección de objetos que es el estándar de la industria precise, afirma Lorenzo. Pero como sugiere la tasa de éxito del 95%, la IA de seguridad no es una inteligencia perfecta y que todo lo sabe. Requiere un inspector de seguridad experimentado como supervisor.
Un modelo de lenguaje visible en el mundo actual
Los robots y la IA tienden a prosperar en entornos controlados y en gran medida estáticos, como pisos de fábrica o terminales de envío. Pero los sitios de construcción, por definición, están cambiando un poco todos los días.
Lorenzo cree que ha construido una mejor manera de monitorear los sitios, utilizando un tipo de IA generativa llamado modelo de lenguaje visible, o VLM. Un VLM es un LLM con un codificador de visión, lo que le permite “ver” imágenes del mundo y analizar lo que está sucediendo en la escena.
Utilizando años de realización de imágenes de captura de realidad recopiladas de los clientes, con su permiso explícito, el equipo de Lorenzo ha reunido lo que él llama un “conjunto de datos dorados” que abarca decenas de miles de imágenes de violaciones de OSHA. Habiendo almacenado cuidadosamente estos datos específicos durante años, no le preocupa que incluso un gigante tecnológico de mil millones de dólares pueda “copiar y aplastarlo”.
Para ayudar a capacitar al modelo, Lorenzo tiene un equipo más pequeño de profesionales de seguridad de la construcción que hacen preguntas estratégicas de la IA. Los entrenadores ingresan escenas de prueba del conjunto de datos dorados al VLM y hacen preguntas que guían el modelo a través del proceso de desglosar la escena y analizarlo paso a paso como lo haría un humano experimentado. Si el VLM no genera la respuesta correcta, por ejemplo, pierde una violación o registra un falso positivo, los entrenadores humanos regresan y ajustan las indicaciones o entradas. Lorenzo cube que, en lugar de simplemente aprender a reconocer objetos, se enseña al VLM “cómo pensar de cierta manera”, lo que significa que puede sacar conclusiones sutiles sobre lo que está sucediendo en una imagen.
