Observabilidad de la IA en la práctica
Muchas organizaciones comienzan con buenas intenciones y crean soluciones de IA prometedoras, pero estas aplicaciones iniciales a menudo terminan desconectadas y no observables. Por ejemplo, un sistema de mantenimiento predictivo y un docsbot GenAI podrían operar en diferentes áreas, lo que provocaría una expansión descontrolada. La observabilidad de la IA se refiere a la capacidad de monitorear y comprender la funcionalidad de los modelos de aprendizaje automático de IA generativos y predictivos a lo largo de su ciclo de vida dentro de un ecosistema. Esto es essential en áreas como Operaciones de aprendizaje automático (MLOps) y particularmente en Operaciones de modelos de lenguaje grandes (LLMOps).
La observabilidad de la IA se alinea con DevOps y las operaciones de TI, lo que garantiza que los modelos de IA generativos y predictivos puedan integrarse sin problemas y funcionar bien. Permite el seguimiento de métricas, problemas de rendimiento y resultados generados por modelos de IA, proporcionando una visión integral a través de la plataforma de observabilidad de una organización. También prepara a los equipos para crear soluciones de IA aún mejores con el tiempo al guardar y etiquetar datos de producción para volver a entrenar modelos generativos predictivos o ajustarlos. Este proceso de reentrenamiento continuo ayuda a mantener y mejorar la precisión y eficacia de los modelos de IA.
Sin embargo, no está exento de desafíos. La “expansión” arquitectónica, de usuarios, de bases de datos y de modelos ahora abruma a los equipos de operaciones debido a una configuración más prolongada y a la necesidad de conectar múltiples piezas de infraestructura y modelado, y se dedica aún más esfuerzo al mantenimiento y actualización continuos. Manejar la expansión es imposible sin una plataforma abierta y versatile que actúe como el centro de comando y management centralizado de su organización para administrar, monitorear y gobernar todo el panorama de la IA a escala.
La mayoría de las empresas no se limitan a una sola infraestructura y podrían cambiar las cosas en el futuro. Lo que es realmente importante para ellos es que la producción, la gobernanza y el monitoreo de la IA se mantengan consistentes.
DataRobot está comprometido con la observabilidad en todos los entornos: en la nube, híbrido y native. En términos de flujos de trabajo de IA, esto significa que puede elegir dónde y cómo desarrollar e implementar sus proyectos de IA mientras mantiene información completa y management sobre ellos, incluso en el borde. Es como tener una vista de 360 grados de todo.
DataRobot ofrece 10 componentes principales listos para usar para lograr una práctica exitosa de observabilidad de IA:
- Monitoreo de métricas: Seguimiento de métricas de rendimiento en tiempo actual y resolución de problemas.
- Gestión de modelos: Utilizar herramientas para monitorear y gestionar modelos a lo largo de su ciclo de vida.
- Visualización: Proporcionar paneles de management para obtener información y análisis del rendimiento del modelo.
- Automatización: Automatizar las etapas de construcción, gobernanza, implementación, monitoreo y reentrenamiento en el ciclo de vida de la IA para lograr flujos de trabajo fluidos.
- Calidad y explicabilidad de los datos: Garantizar la calidad de los datos y explicar las decisiones del modelo.
- Algoritmos avanzados: Emplear métricas y protecciones listas para usar para mejorar las capacidades del modelo.
- Experiencia de usuario: Mejora de la experiencia del usuario con flujos de GUI y API.
- AIOps e integración: Integración con AIOps y otras soluciones para una gestión unificada.
- API y telemetría: Uso de API para una integración perfecta y recopilación de datos de telemetría.
- Práctica y flujos de trabajo: Crear un ecosistema de apoyo en torno a la observabilidad de la IA y tomar medidas sobre lo que se está observando.
Observabilidad de la IA en acción
Cada industria implementa GenAI Chatbots en varias funciones para distintos propósitos. Los ejemplos incluyen aumentar la eficiencia, mejorar la calidad del servicio, acelerar los tiempos de respuesta y muchos más.
Exploremos la implementación de un chatbot GenAI dentro de una organización y analicemos cómo lograr la observabilidad de la IA utilizando una plataforma de IA como DataRobot.
Paso 1: recopilar seguimientos y métricas relevantes
DataRobot y sus capacidades MLOps brindan escalabilidad de clase mundial para la implementación de modelos. Los modelos de toda la organización, independientemente de dónde se crearon, se pueden supervisar y gestionar desde una única plataforma. Además de los modelos de DataRobot, la plataforma DataRobot también puede gestionar y monitorear los modelos de código abierto implementados fuera de DataRobot MLOps.
Las capacidades de observabilidad de la IA dentro de la plataforma de IA de DataRobot ayudan a garantizar que las organizaciones sepan cuándo algo sale mal, comprendan por qué salió mal y puedan intervenir para optimizar el rendimiento de los modelos de IA de forma continua. Al rastrear el servicio, la deriva, los datos de predicción, los datos de capacitación y las métricas personalizadas, las empresas pueden mantener sus modelos y predicciones relevantes en un mundo que cambia rápidamente.
Paso 2: analizar datos
Con DataRobot, puede utilizar paneles prediseñados para monitorear las métricas tradicionales de ciencia de datos o adaptar sus propias métricas personalizadas para abordar aspectos específicos de su negocio.
Estas métricas personalizadas se pueden desarrollar desde cero o utilizando una plantilla de DataRobot. Utilice esas métricas para los modelos creados o alojados en DataRobot o fuera de él.
‘Rechazo inmediato’ Las métricas representan el porcentaje de respuestas del chatbot que el LLM no pudo abordar. Si bien esta métrica proporciona información valiosa, lo que la empresa realmente necesita son medidas prácticas para minimizarla.
Preguntas guiadas: Responda a estas preguntas para proporcionar una comprensión más completa de los factores que contribuyen a los rechazos rápidos:
- ¿El LLM tiene la estructura y los datos adecuados para responder las preguntas?
- ¿Existe un patrón en los tipos de preguntas, palabras clave o temas que el LLM no puede abordar o con los que tiene dificultades?
- ¿Existen mecanismos de retroalimentación para recopilar los comentarios de los usuarios sobre las respuestas del chatbot?
Bucle de retroalimentación de uso: Podemos responder a estas preguntas implementando un ciclo de retroalimentación de uso y creando una aplicación para encontrar la “información oculta”.
A continuación se muestra un ejemplo de una aplicación Streamlit que proporciona información sobre una muestra de preguntas de los usuarios y grupos de temas para preguntas que el LLM no pudo responder.
Paso 3: tomar acciones basadas en el análisis
Ahora que comprende los datos, puede seguir los siguientes pasos para mejorar significativamente el rendimiento de su chatbot:
- Modifique el mensaje: Pruebe diferentes indicaciones del sistema para obtener resultados mejores y más precisos.
- Mejore su base de datos de vectores: Identifique las preguntas para las que el LLM no tenía respuestas, agregue esta información a su base de conocimientos y luego vuelva a capacitar al LLM.
- Ajuste o reemplace su LLM: Experimente con diferentes configuraciones para ajustar su LLM existente y lograr un rendimiento óptimo.
Alternativamente, evalúe otras estrategias de LLM y evaluate su desempeño para determinar si se necesita un reemplazo.
- Modere en tiempo actual o establezca los modelos de guardia adecuados: Mix cada modelo generativo con un modelo de guardia de IA predictivo que evalúe la calidad del resultado y filtre preguntas inapropiadas o irrelevantes.
Este marco tiene una amplia aplicabilidad en casos de uso donde la precisión y la veracidad son primordiales. DR proporciona una capa de management que le permite tomar los datos de aplicaciones externas, protegerlos con los modelos predictivos alojados dentro o fuera de las barreras de seguridad de Datarobot o NeMo y llamar a un LLM externo para realizar predicciones.
Si sigue estos pasos, podrá garantizar una vista de 360° de todos sus activos de IA en producción y que sus chatbots sigan siendo efectivos y confiables.
Resumen
La observabilidad de la IA es esencial para garantizar la rendimiento efectivo y confiable de modelos de IA en todo el ecosistema de una organización. Al aprovechar la plataforma DataRobot, las empresas mantienen una supervisión y un management integrales de sus flujos de trabajo de IA, lo que garantiza coherencia y escalabilidad.
La implementación de prácticas sólidas de observabilidad no solo ayuda a identificar y prevenir problemas en tiempo actual, sino que también ayuda a optimizar y mejorar continuamente los modelos de IA y, en última instancia, crear aplicaciones útiles y seguras.
Al utilizar las herramientas y estrategias adecuadas, las organizaciones pueden navegar por las complejidades de las operaciones de IA y aprovechar todo el potencial de sus inversiones en infraestructura de IA.
Sobre el autor
Atalia Horenshtien es líder de promoción técnica international de productos en DataRobot. Desempeña un papel very important como desarrollador principal de la historia del mercado técnico de DataRobot y trabaja en estrecha colaboración con productos, advertising y ventas. Como excientífica de datos de cara al cliente en DataRobot, Atalia trabajó con clientes de diferentes industrias como asesor confiable en IA, resolvió problemas complejos de ciencia de datos y los ayudó a desbloquear valor comercial en toda la organización.
Ya sea hablando con clientes y socios o haciendo presentaciones en eventos de la industria, ella ayuda a defender la historia de DataRobot y cómo adoptar AI/ML en toda la organización utilizando la plataforma DataRobot. Algunas de sus sesiones de conferencias sobre diferentes temas como MLOps, pronóstico de sequence temporales, proyectos deportivos y casos de uso de diversos sectores verticales en eventos de la industria como AI Summit NY, AI Summit Silicon Valley, Advertising and marketing AI Convention (MAICON) y eventos de socios como Snowflake. Summit, Google Subsequent, clases magistrales, seminarios net conjuntos y más.
Atalia tiene una Licenciatura en Ingeniería y Gestión Industrial y dos Maestrías: MBA y Enterprise Analytics.
Aslihan Buner es gerente senior de advertising de productos para AI Observability en DataRobot, donde crea y ejecuta estrategias de comercialización para productos LLMOps y MLOps. Se asocia con equipos de desarrollo y gestión de productos para identificar las necesidades clave de los clientes e identificar e implementar estratégicamente mensajes y posicionamiento. Su pasión es abordar las brechas del mercado, abordar los puntos débiles en todos los sectores verticales y vincularlos a las soluciones.
Kateryna Bozhenko es gerente de producto de producción de IA en DataRobot y tiene una amplia experiencia en la creación de soluciones de IA. Con títulos en Negocios Internacionales y Administración de Atención Médica, le apasiona ayudar a los usuarios a hacer que los modelos de IA funcionen de manera efectiva para maximizar el retorno de la inversión y experimentar la verdadera magia de la innovación.
