Únase a nuestros boletines diarios y semanales para obtener las últimas actualizaciones y contenido exclusivo sobre la cobertura de IA líder de la industria. Obtenga más información
Comprender con precisión cómo la producción de un modelo de lenguaje grande (LLM) coincide con los datos de entrenamiento ha sido durante mucho tiempo un misterio y un desafío para la TI de la empresa.
Un nuevo esfuerzo de código abierto lanzado esta semana por el Instituto Allen para AI (AI2) tiene como objetivo ayudar a resolver ese desafío rastreando la salida de LLM hasta las entradas de entrenamiento. La herramienta Olmotrace permite a los usuarios rastrear las salidas del modelo de lenguaje directamente a los datos de capacitación originales, abordando una de las barreras más significativas para la adopción empresarial de IA: la falta de transparencia en la forma en que los sistemas de IA toman decisiones.
Olmo es un acrónimo para el modelo de lenguaje abierto, que también es el nombre de La familia de LLM de código abierto de AI2. En el sitio AI2 Playground de la compañía, los usuarios pueden probar Olmotrace con el modelo OLMO 2 32B recientemente lanzado. El código de código abierto también está disponible en Github y es disponible gratuitamente para que cualquiera lo use.
A diferencia de los enfoques existentes que se centran en los puntajes de confianza o la generación de recuperación, Olmotrace ofrece una ventana directa a la relación entre las salidas del modelo y los conjuntos de datos de entrenamiento multimillonario que los formaron.
“Nuestro objetivo es ayudar a los usuarios a comprender por qué los modelos de lenguaje generan las respuestas que hacen”, dijo Jiacheng Liu, investigador de AI2 a VentureBeat.
Cómo funciona Olmotrace: más que solo citas
Los LLM con la funcionalidad de búsqueda internet, como la perplejidad o la búsqueda de chatgpt, pueden proporcionar citas de origen. Sin embargo, esas citas son fundamentalmente diferentes de lo que hace Olmotrace.
Liu explicó que la perplejidad y la búsqueda de búsqueda de chatgpt usan la generación de recuperación de recuperación (trapo). Con RAG, el propósito es mejorar la calidad de la generación de modelos proporcionando más fuentes de las que el modelo fue capacitado. Olmotrace es diferente porque traza la salida del modelo en sí sin ningún trapo o fuentes de documentos externas.
La tecnología identifica secuencias de texto largas y únicas en los resultados del modelo y las coincide con documentos específicos del corpus de entrenamiento. Cuando se encuentra una coincidencia, Olmotrace resalta el texto relevante y proporciona enlaces al materials fuente unique, lo que permite a los usuarios ver exactamente dónde y cómo el modelo aprendió la información que está utilizando.
Más allá de los puntajes de la confianza: evidencia tangible de la toma de decisiones de IA
Por diseño, las LLM generan salidas basadas en pesos del modelo que ayudan a proporcionar una puntuación de confianza. La concept básica es que cuanto mayor sea la puntuación de confianza, más precisa será la salida.
En opinión de Liu, los puntajes de confianza son fundamentalmente defectuosos.
“Los modelos pueden estar demasiado conscientes de las cosas que generan y si les pide que generen una puntuación, generalmente está inflado”, dijo Liu. “Eso es lo que los académicos llaman un error de calibración: la confianza de que la salida de los modelos no siempre refleja cuán precisas son realmente sus respuestas”.
En lugar de otro puntaje potencialmente engañoso, Olmotrace proporciona evidencia directa de la fuente de aprendizaje del modelo, lo que permite a los usuarios hacer sus propios juicios informados.
“Lo que hace Olmotrace es mostrarle las coincidencias entre las salidas del modelo y los documentos de entrenamiento”, explicó Liu. “A través de la interfaz, puede ver directamente dónde están los puntos de coincidencia y cómo las salidas del modelo coinciden con los documentos de entrenamiento”.
Cómo Olmotrace se compara con otros enfoques de transparencia
AI2 no está solo en la búsqueda para comprender mejor cómo los LLM generan salida. Antrópico recientemente Lanzó su propia investigación en el problema. Esa investigación se centró en las operaciones internas modelo, en lugar de comprender los datos.
“Estamos adoptando un enfoque diferente de ellos”, dijo Liu. “Estamos rastreando directamente en el comportamiento del modelo, en sus datos de entrenamiento, en lugar de rastrear cosas en las neuronas modelo, circuitos internos, ese tipo de cosas”.
Este enfoque hace que Olmotrace sea más útil de inmediato para aplicaciones empresariales, ya que no requiere una profunda experiencia en la arquitectura de la pink neuronal para interpretar los resultados.
Aplicaciones empresariales de IA: desde el cumplimiento regulatorio hasta la depuración del modelo
Para las empresas que implementan IA en industrias reguladas como la atención médica, las finanzas o los servicios legales, Olmotrace ofrece ventajas significativas sobre los sistemas de caja negra existentes.
“Creemos que Olmotrace ayudará a los usuarios empresariales y comerciales a comprender mejor lo que se usa en la capacitación de los modelos para que puedan tener más confianza cuando quieran construir sobre ellos”, dijo Liu. “Esto puede ayudar a aumentar la transparencia y la confianza entre ellos de sus modelos, y también para los clientes de sus comportamientos de modelo”.
La tecnología permite varias capacidades críticas para equipos de IA empresariales:
- Sutens de modelo de verificación de hechos contra fuentes originales
- Comprender los orígenes de las alucinaciones
- Mejora de la depuración del modelo identificando patrones problemáticos
- Mejorar el cumplimiento regulatorio a través de la trazabilidad de los datos
- Creación de confianza con las partes interesadas a través de una mayor transparencia
El equipo AI2 ya ha utilizado Olmotrace para identificar y corregir los problemas de sus modelos.
“Ya lo estamos usando para mejorar nuestros datos de entrenamiento”, revela Liu. “Cuando construimos Olmo 2 y comenzamos nuestro entrenamiento, a través de Olmotrace, descubrimos que en realidad algunos de los datos posteriores al entrenamiento no eran buenos”.
Lo que esto significa para la adopción empresarial de IA
Para las empresas que buscan liderar el camino en la adopción de IA, Olmotrace representa un paso significativo hacia sistemas de IA empresariales más responsables. La tecnología está disponible bajo una licencia de código abierto Apache 2.0, lo que significa que cualquier organización con acceso a los datos de capacitación de su modelo puede implementar capacidades de rastreo similares.
“Olmotrace puede trabajar en cualquier modelo, siempre que tenga los datos de entrenamiento del modelo”, señala Liu. “Para modelos completamente abiertos donde todos tienen acceso a los datos de entrenamiento del modelo, cualquiera puede configurar Olmotrace para ese modelo y para modelos propietarios, tal vez algunos proveedores no quieran liberar sus datos, también pueden hacer esta Olmotrace internamente”.
A medida que los marcos de gobierno de IA continúan evolucionando a nivel mundial, herramientas como Olmotrace que permiten la verificación y la auditabilidad probablemente se convertirán en componentes esenciales de las pilas de IA empresariales, particularmente en industrias reguladas donde la transparencia algorítmica se exige cada vez cada vez más.
Para los tomadores de decisiones técnicas que soportan los beneficios y los riesgos de la adopción de la IA, Olmotrace ofrece un camino práctico para implementar sistemas de IA más confiables y explicables sin sacrificar el poder de los modelos de idiomas grandes.
