La dependencia de la sociedad en las aplicaciones de inteligencia synthetic (IA) y aprendizaje automático (ML) continúa creciendo, redefiniendo cómo se devour la información. Desde chatbots con IA hasta síntesis de información producidas a partir de modelos de idiomas grandes (LLM), la sociedad tiene acceso a más información e concepts más profundas que nunca. Sin embargo, a medida que las empresas de tecnología corren para implementar la IA en su cadena de valor, se avecina una pregunta crítica. ¿Podemos realmente confiar en los resultados de las soluciones de IA?
¿Podemos realmente confiar en las salidas de IA sin cuantificación de incertidumbre?
Para una entrada dada, un modelo podría haber generado muchas otras salidas igualmente simples. Esto podría deberse a datos de capacitación insuficientes, variaciones en los datos de capacitación u otras causas. Al implementar modelos, las organizaciones pueden aprovechar cuantificación de incertidumbre Proporcionar a sus usuarios finales una comprensión más clara de cuánto deben confiar en la producción de un modelo AI/ML. La cuantificación de la incertidumbre es el proceso de estimar cuáles podrían haber sido esos otros resultados.
Think about un modelo que predice la alta temperatura del mañana. El modelo podría generar la salida de 21ºC, pero la cuantificación de incertidumbre aplicada a esa salida podría indicar que el modelo podría haber generado las salidas de 12 ºC, 15 ºC o 16 ºC; Sabiendo esto, ¿cuánto confiamos ahora en la predicción easy de 20 ºC? A pesar de su potencial de generar confianza o aconsejar la precaución, muchas organizaciones eligen omitir la cuantificación de la incertidumbre debido al trabajo adicional que necesitan hacer para implementarlo, así como por sus demandas de calcular los recursos y la velocidad de inferencia.
Humano Los sistemas, como el diagnóstico médico y los sistemas de pronóstico, involucran a los humanos como parte del proceso de toma de decisiones. Al confiar ciegamente en los datos de las soluciones de AI/ML de atención médica, los profesionales de la salud corren el riesgo de diagnosticar erróneamente a un paciente, lo que puede conducir a resultados de salud por debajo del par, o peor. La cuantificación de la incertidumbre puede permitir que los profesionales de la salud vean, cuantitativamente, cuando pueden confiar más en los resultados de la IA y cuándo deben tratar predicciones específicas con precaución. Del mismo modo, en un sistema totalmente automatizado, como un automóvil autónomo, la salida de un modelo para estimar la distancia de un obstáculo podría conducir a un choque que podría haberse evitado de otra manera en presencia de cuantificación de incertidumbre en la estimación de la distancia.
El desafío de aprovechar los métodos de Monte Carlo para generar confianza en los modelos AI/ML
Métodos de Monte Carlodesarrollado durante el Proyecto Manhattan, son una forma robusta de realizar la cuantificación de la incertidumbre. Implican volver a ejecutar algoritmos repetidamente con entradas ligeramente diferentes hasta que las iteraciones adicionales no proporcionan mucha más información en las salidas; Cuando el proceso llega a tal estado, se cube que ha convergido. Una desventaja de los métodos de Monte Carlo es que típicamente son lentos y intensivos en cómputo, lo que requiere muchas repeticiones de sus cálculos constituyentes para obtener una salida convergente y tienen una variabilidad inherente en esas salidas. Debido a que los métodos de Monte Carlo usan las salidas de los generadores de números aleatorios como uno de sus bloques de construcción clave, incluso cuando ejecuta un Monte Carlo con muchas repeticiones internas, los resultados que obtengan cambiarán cuando repita el proceso con parámetros idénticos.
El camino a la confianza hacia la confiabilidad en los modelos de IA/ML
A diferencia de los servidores tradicionales y los aceleradores específicos de IA, una nueva raza de plataformas informáticas se están desarrollando para procesar directamente las distribuciones de probabilidad empírica de la misma manera que las plataformas de computación tradicionales procesan enteros y valores de punto flotante. Al desplegar sus modelos de IA en estas plataformas, las organizaciones pueden automatizar la implementación de la cuantificación de la incertidumbre en sus modelos previamente capacitados y también pueden acelerar otros tipos de tareas informáticas que tradicionalmente han utilizado métodos de Monte Carlo, como Cálculos de VAR en finanzas. En explicit, para el escenario VAR, esta nueva raza de plataformas permite a las organizaciones trabajar con distribuciones empíricas construidas directamente a partir de datos del mercado actual, en lugar de aproximar estas distribuciones con muestras generadas por generadores de números aleatorios, para análisis más precisos y resultados más rápidos.
Los avances recientes en la computación han reducido significativamente las barreras para la cuantificación de la incertidumbre. Un artículo de investigación reciente publicado por mis colegas y yo, en el Aprendizaje automático con un nuevo taller de paradigmas de cálculo en Neurips 2024destaca cómo una plataforma de cálculo de próxima generación desarrollamos un análisis de cuantificación de incertidumbre habilitado para ejecutarse más de 100 veces más rápido en comparación con la ejecución de análisis tradicionales basados en Monte-Carlo en un servidor basado en Intel-Xeon de alta gama. Avances como estas permiten a las organizaciones que implementan soluciones de IA para implementar la cuantificación de incertidumbre con facilidad y ejecutar tal cuantificación de incertidumbre con bajos gastos generales.
El futuro de la confiabilidad de AI/ML depende del cálculo avanzado de próxima generación
A medida que las organizaciones integran más soluciones de IA en la sociedad, la confiabilidad en IA/ML se convertirá en una prioridad. Las empresas ya no pueden permitirse omitir las instalaciones de implementación en sus implementaciones de modelo de IA para permitir a los consumidores saber cuándo tratar los resultados del modelo de IA específicos con escepticismo. La demanda de tal explicabilidad y cuantificación de incertidumbre es clara, con aproximadamente tres de cada cuatro personas que indican Estarían más dispuestos a confiar en un sistema de IA si estuviera en su lugar los mecanismos de garantía apropiados.
Las nuevas tecnologías informáticas están haciendo que sea más fácil implementar e implementar la cuantificación de la incertidumbre. Si bien los organismos industriales y regulatorios luchan con otros desafíos asociados con la implementación de IA en la sociedad, existe al menos una oportunidad de engendrar la confianza que requieren los humanos, al hacer que la cuantificación de la incertidumbre sea la norma en las implementaciones de IA.
