Científicos del Centro Alemán de Investigación del Cáncer (DKFZ), junto con médicos de la clínica urológica del Hospital Universitario de Mannheim, han desarrollado y probado con éxito un chatbot basado en inteligencia synthetic. “UroBot” pudo responder a las preguntas del examen del especialista en urología con un alto grado de precisión, superando tanto a otros modelos de lenguaje como a la precisión de los urólogos experimentados. El modelo justifica sus respuestas en detalle con base en las pautas.
Con los avances en oncología personalizada, las pautas urológicas son cada vez más complejas. Ya sea en la junta de tumores, en la sala o en la consulta, un sistema preciso de segunda opinión para las decisiones médicas en urología podría ayudar a los médicos en una atención personalizada y basada en evidencia, especialmente cuando el tiempo o la capacidad son limitados.
Los modelos de lenguaje grande (LLM), como GPT-4, tienen el potencial de recuperar conocimientos médicos y responder preguntas médicas complejas sin formación adicional. Sin embargo, su aplicabilidad en la práctica clínica suele ser limitada debido a datos de formación obsoletos y a la falta de explicabilidad. Para superar estos obstáculos, un equipo dirigido por Titus Brinker del DKFZ desarrolló “UroBot”, un chatbot especializado en urología que se complementó con las directrices actuales de la Sociedad Europea de Urología.
UroBot se basa en el modelo de lenguaje más potente de OpenAI, GPT-4o. Utiliza un método personalizado de generación aumentada de recuperación (RAG) que es capaz de recuperar información relevante de cientos de documentos de manera específica en respuesta a la pregunta particular person para proporcionar respuestas precisas y explicables. El modelo modificado se probó en 200 preguntas de especialistas de la Junta Europea de Urología y se evaluó en varias rondas.
UroBot-4o respondió correctamente a las preguntas del examen especializado en el 88,4 por ciento de los casos, superando al modelo más moderno GPT-4o en 10,8 puntos porcentuales. Esto significa que UroBot no sólo supera a otros modelos de lenguaje, sino que también supera el rendimiento medio de los urólogos en el examen especializado, que según la literatura es del 68,7 por ciento. Además, UroBot muestra un grado muy alto de fiabilidad y coherencia en sus respuestas.
Las respuestas de UroBot pueden ser verificadas por expertos clínicos, ya que el software program identifica las fuentes y secciones de texto decisivas: “El estudio muestra el potencial de combinar grandes modelos de lenguaje con pautas basadas en evidencia para mejorar el rendimiento en campos médicos especializados. La verificabilidad y el muy alto precisión al mismo tiempo hacen de UroBot un sistema de asistencia prometedor para la atención al paciente.”El uso de modelos de lenguaje comprensibles como UroBot será extremadamente importante en la atención al paciente en los próximos años y ayudará a garantizar una atención basada en directrices en todos los ámbitos, incluso como Las decisiones terapéuticas se vuelven cada vez más complejas”, cube Brinker.
El equipo de investigación ha publicado el código y las instrucciones para utilizar UroBot para permitir futuros desarrollos en urología, así como en otros campos médicos.
