La R en “RAG” significa “Regalías” – O’Reilly

La IA generativa puede ser una nueva tecnología innovadora, pero también ha desatado un torrente de complicaciones que socavan su confiabilidad, muchas de las cuales son la base de demandas. ¿Alguna vez los creadores y editores de contenidos en la net abierta recibirán crédito directo y una compensación justa por las contribuciones de sus obras a las plataformas de IA? ¿Habrá capacidad para dar su consentimiento a su participación en dicho sistema en primer lugar? ¿Se pueden realmente controlar las alucinaciones? ¿Y qué pasará con la calidad del contenido en un futuro de LLM?

Aprende más rápido. Profundiza más. Ver más lejos.

Si bien la inteligencia perfecta no es más posible en un sentido sintético que en un sentido orgánico, generativo de recuperación aumentada (RAG) Los motores de búsqueda pueden ser la clave para abordar las muchas preocupaciones que enumeramos anteriormente. Los modelos de IA generativa se entrenan en grandes depósitos de información y medios. Luego pueden aceptar indicaciones y producir resultados basados ​​en las ponderaciones estadísticas de los modelos previamente entrenados de esos corpus. Sin embargo, los motores RAG no son tanto modelos de IA generativa como sistemas de razonamiento dirigido y canales que utilizan LLM generativos para crear respuestas basadas en fuentes. Los procesos que ayudan a informar la construcción de estas respuestas de alta calidad, verificadas con la verdad sobre el terreno y respaldadas por citas albergan grandes esperanzas de generar un motor social y económico digital que dé crédito a sus fuentes y les pague simultáneamente. Es posible.

Esto no es sólo una teoría; es una solución nacida de la práctica aplicada directa. Durante los últimos cuatro años, la plataforma de aprendizaje O’Reilly y misoEl laboratorio de inteligencia synthetic de noticias y medios de comunicación ha trabajado estrechamente para crear una solución capaz de responder de manera confiable las preguntas de los estudiantes, acreditando las fuentes que utilizó para generar sus respuestas y luego pagando regalías a esas fuentes por sus contribuciones. Y con el último lanzamiento de O’Reilly Solutions, la thought de un motor de regalías que pague de manera justa a los creadores es ahora una realidad práctica del día a día y es elementary para el éxito de la asociación de las dos organizaciones y el crecimiento continuo conjunto.

Cómo surgieron las respuestas de O’Reilly

O’Reilly es una plataforma de aprendizaje centrada en la tecnología que respalda el aprendizaje continuo de los equipos tecnológicos. Ofrece una gran cantidad de libros, cursos a pedido, eventos en vivo, publicaciones breves, laboratorios interactivos, listas de reproducción de expertos y más, creados a partir del contenido patentado de miles de autores independientes, expertos de la industria y varias de las editoriales educativas más importantes. en el mundo. Para fomentar y mantener el conocimiento de sus miembros, O’Reilly paga regalías de los ingresos por suscripción generados en función de cómo sus alumnos interactúan y utilizan los trabajos de los expertos en la plataforma de aprendizaje. La organización tiene una línea roja clara: nunca infringir los medios de vida de los creadores y sus obras.

Si bien la plataforma de aprendizaje de O’Reilly ofrece a los estudiantes una maravillosa abundancia de contenido, el gran volumen de información (y las limitaciones de la búsqueda de palabras clave) a veces abrumaban a los lectores que intentaban examinarla para encontrar exactamente lo que necesitaban saber. Y la consecuencia fue que esta rica experiencia quedó atrapada dentro de un libro, detrás de un enlace, dentro de un capítulo o enterrada en un video, tal vez para nunca ser vista. La plataforma requería una forma más eficaz de conectar a los alumnos directamente con la información clave que buscaban. Entra el equipo en Miso.

Los cofundadores de Miso, Fortunate Gunasekara y Andy Hsieh, son veteranos del Small Knowledge Lab de Cornell Tech, que se dedica a enfoques privados de IA para una personalización inmersiva y exploraciones centradas en el contenido. Ampliaron su trabajo en Miso para construir una infraestructura fácilmente aprovechable para editores y sitios net con modelos avanzados de inteligencia synthetic para búsqueda, descubrimiento y publicidad que pudieran competir en calidad con los gigantes de las grandes tecnologías. Y Miso ya había creado uno de los primeros motores de búsqueda basado en LLM utilizando el modelo BERT de código abierto que profundizaba en artículos de investigación: podía realizar una consulta en lenguaje pure y encontrar un fragmento de texto en un documento que respondiera esa pregunta con sorprendente confiabilidad y suavidad. Ese trabajo inicial condujo a la colaboración con O’Reilly para ayudar a resolver los desafíos de búsqueda y descubrimiento específicos del aprendizaje en su plataforma de aprendizaje.

El resultado fue el primer motor de búsqueda LLM de O’Reilly, el O’Reilly Solutions unique. Puedes leer un poco sobre su funcionamiento internopero en esencia, period un motor RAG menos la “G” de “generativo”. Gracias a que BERT es de código abierto, el equipo de Miso pudo ajustar las capacidades de comprensión de consultas de Solutions frente a much y miles de pares de preguntas y respuestas en el aprendizaje en línea para alcanzar el nivel de experto en la comprensión de preguntas y la búsqueda de fragmentos cuyo contexto y El contenido period relevante para esas preguntas. Al mismo tiempo, Miso realizó una fragmentación en profundidad y un mapeo de metadatos de cada libro del catálogo de O’Reilly para generar incrustaciones de fragmentos vectoriales enriquecidos de cada obra. Párrafo por párrafo, se generaron metadatos profundos que mostraban de dónde se obtuvo cada fragmento, desde el texto del título, el capítulo, las secciones y subsecciones hasta el código o las figuras más cercanas de un libro.

La unión de este modelo especializado de preguntas y respuestas con este almacén vectorial enriquecido de contenido de O’Reilly significó que los lectores podían hacer una pregunta y obtener una respuesta directamente de la biblioteca de títulos de O’Reilly, con el fragmento de respuesta resaltado directamente dentro del texto y una profunda vincular la cita a la fuente. Y debido a que había un flujo de datos claro para cada respuesta que este motor recuperaba, O’Reilly tenía a mano los análisis forenses para pagar regalías por cada respuesta entregada con el fin de compensar de manera justa a la comunidad de autores de la compañía por brindar valor directo a los estudiantes.

Cómo ha evolucionado O’Reilly Solutions

Avancemos hasta el día de hoy, y Miso y O’Reilly han llevado ese sistema y los valores detrás de él aún más lejos. Si la publicación unique de Solutions fue impulsada por un LLM recuperación motor, la nueva versión de hoy de Solutions es un LLM impulsado investigación motor (en el sentido más estricto). Después de todo, la investigación es tan buena como las referencias, y los equipos de ambas organizaciones entendieron perfectamente que la posibilidad de alucinaciones y respuestas infundadas podrían confundir y frustrar completamente a los estudiantes. Entonces, el equipo de Miso pasó meses haciendo investigación y desarrollo interno sobre cómo fundamentar y verificar mejor las respuestas; en el proceso, descubrieron que podían lograr un rendimiento cada vez mejor adaptando múltiples modelos para que funcionaran entre sí.

En esencia, el último lanzamiento de O’Reilly Solutions es una línea de montaje de trabajadores de LLM. Cada uno tiene su propia experiencia y conjunto de habilidades, y trabajan juntos para colaborar mientras responden una pregunta o consulta, razonan cuál es la intención, investigan las posibles respuestas y evalúan y analizan críticamente esta investigación antes de escribir una cita fundamentada. respuesta. Para ser claros, esta nueva versión de Solutions no es un LLM masivo que haya sido capacitado en el contenido y los trabajos de los autores. El equipo de Miso comparte la creencia de O’Reilly de no desarrollar LLM sin crédito, consentimiento y compensación de los creadores. Y han aprendido a través de su trabajo diario no sólo con O’Reilly sino también con editoriales como Macmundo, CIO.com, Cocina de prueba de Estados Unidosy Tiempos de enfermería que es mucho más valioso capacitar a los LLM para que sean expertos en razonar sobre contenido experto que capacitarlos para regurgitar generativamente ese contenido experto en respuesta a una sugerencia.

El resultado neto es que O’Reilly Solutions ahora puede investigar críticamente y responder preguntas en una respuesta larga mucho más rica e inmersiva, preservando al mismo tiempo las citas y referencias de fuentes que fueron tan importantes en su publicación unique.

La versión más reciente de Solutions está nuevamente construida con un modelo de código abierto, en este caso, Llama 3. Esto significa que la biblioteca especializada de modelos para investigación, razonamiento y escritura de expertos es completamente privada. Y nuevamente, si bien los modelos están ajustados para completar sus tareas a un nivel experto, no pueden reproducir las obras de los autores en su totalidad. Los equipos de O’Reilly y Miso están entusiasmados con el potencial de los LLM de código abierto porque su rápida evolución significa brindar nuevos avances a los estudiantes mientras controlan lo que estos modelos pueden y no pueden hacer con el contenido y los datos de O’Reilly.

El beneficio de construir Solutions como un canal de investigación, razonamiento y redacción utilizando los LLM de código abierto líderes en la actualidad es que la solidez de las preguntas que puede responder seguirá aumentando, pero el sistema en sí siempre se basará en comentarios originales y autorizados de expertos. contenido en la plataforma de aprendizaje de O’Reilly. Cada respuesta aún contiene citas para que los estudiantes profundicen y se ha tenido cuidado para garantizar que el lenguaje se mantenga lo más cercano posible a lo que los expertos compartieron originalmente. Y cuando una pregunta va más allá de los límites de las posibles citas, la herramienta simplemente responderá “No lo sé” en lugar de correr el riesgo de alucinar.

Lo más importante es que, al igual que con la versión unique de Solutions, la arquitectura de la última versión proporciona datos forenses que muestran la contribución del trabajo de cada autor al que se hace referencia en una respuesta. Esto permite a O’Reilly pagar a los expertos por su trabajo con una regalía de IA generativa, la primera en su tipo, y al mismo tiempo les permite compartir su conocimiento de manera más fácil y directa con la comunidad de estudiantes globales para la que está diseñada la plataforma O’Reilly. .

Espere más actualizaciones pronto a medida que O’Reilly y Miso presionen para obtener muestras de código compilables en respuestas y más capacidades conversacionales y generativas. Ya están trabajando en futuras versiones de Solutions y les encantaría escuchar comentarios y sugerencias sobre lo que pueden desarrollar a continuación.