Los sistemas de IA se utilizan cada vez más en situaciones de atención sanitaria críticas para la seguridad. Sin embargo, estos modelos a veces alucinan información incorrecta, hacen predicciones sesgadas o fallan por razones inesperadas, lo que podría tener graves consecuencias para los pacientes y los médicos.
en un artículo de comentario publicado hoy en Ciencia Computacional de la Naturalezael profesor asociado del MIT Marzyeh Ghassemi y la profesora asociada de la Universidad de Boston Elaine Nsoesie sostienen que, para mitigar estos daños potenciales, los sistemas de IA deberían ir acompañados de etiquetas de uso responsable, similares a las etiquetas exigidas por la Administración de Alimentos y Medicamentos de EE. UU. que se colocan en los medicamentos recetados.
Noticias del MIT habló con Ghassemi sobre la necesidad de tales etiquetas, la información que deberían transmitir y cómo se podrían implementar los procedimientos de etiquetado.
P: ¿Por qué necesitamos etiquetas de uso responsable para los sistemas de IA en entornos de atención médica?
A: En el ámbito de la salud, tenemos una situación interesante en la que los médicos a menudo dependen de tecnología o tratamientos que no se comprenden completamente. A veces esta falta de comprensión es elementary (el mecanismo detrás del paracetamol, por ejemplo), pero otras veces es sólo un límite de especialización. No esperamos que los médicos sepan cómo reparar una máquina de resonancia magnética, por ejemplo. En cambio, contamos con sistemas de certificación a través de la FDA u otras agencias federales, que certifican el uso de un dispositivo médico o medicamento en un entorno específico.
Es importante destacar que los dispositivos médicos también tienen contratos de servicio: un técnico del fabricante reparará su máquina de resonancia magnética si está mal calibrada. Para los medicamentos aprobados, existen sistemas de notificación y vigilancia poscomercialización para poder abordar los efectos o eventos adversos, por ejemplo, si muchas personas que toman un medicamento parecen estar desarrollando una afección o alergia.
Los modelos y algoritmos, incorporen o no IA, eluden muchos de estos procesos de aprobación y seguimiento a largo plazo, y eso es algo de lo que debemos tener cuidado. Muchos estudios anteriores han demostrado que los modelos predictivos necesitan una evaluación y un seguimiento más cuidadosos. Específicamente con la IA generativa más reciente, citamos trabajos que han demostrado que no se garantiza que la generación sea apropiada, sólida o imparcial. Debido a que no tenemos el mismo nivel de vigilancia sobre las predicciones o la generación de modelos, sería aún más difícil detectar las respuestas problemáticas de un modelo. Los modelos generativos que utilizan los hospitales actualmente podrían estar sesgados. Tener etiquetas de uso es una forma de garantizar que los modelos no automaticen sesgos aprendidos de profesionales humanos o puntuaciones de apoyo a decisiones clínicas mal calibradas del pasado.
P: Su artículo describe varios componentes de una etiqueta de uso responsable para la IA, siguiendo el enfoque de la FDA para crear etiquetas de prescripción, incluido el uso aprobado, los ingredientes, los posibles efectos secundarios, and many others. ¿Qué información básica deben transmitir estas etiquetas?
A: Las cosas que una etiqueta debe hacer obvias son el tiempo, el lugar y la forma en que se pretende utilizar el modelo. Por ejemplo, el usuario debe saber que los modelos se entrenaron en un momento específico con datos de un momento específico. Por ejemplo, ¿incluye datos que incluyeron o no la pandemia de Covid-19? Hubo prácticas de salud muy diferentes durante Covid que podrían afectar los datos. Por eso abogamos por que se divulguen los “ingredientes” y los “estudios completos” del modelo.
Por cierto, sabemos por investigaciones anteriores que los modelos entrenados en una ubicación tienden a tener un peor rendimiento cuando se trasladan a otra ubicación. Saber de dónde proceden los datos y cómo se optimizó un modelo dentro de esa población puede ayudar a garantizar que los usuarios estén al tanto de los “posibles efectos secundarios”, las “advertencias y precauciones” y las “reacciones adversas”.
Con un modelo entrenado para predecir un resultado, conocer el momento y el lugar del entrenamiento podría ayudarle a tomar decisiones inteligentes sobre la implementación. Pero muchos modelos generativos son increíblemente flexibles y pueden usarse para muchas tareas. Aquí, el tiempo y el lugar pueden no ser tan informativos, y entran en juego instrucciones más explícitas sobre las “condiciones de etiquetado” y el “uso aprobado” frente al “uso no aprobado”. Si un desarrollador ha evaluado un modelo generativo para leer las notas clínicas de un paciente y generar posibles códigos de facturación, puede revelar que tiene un sesgo hacia la sobrefacturación por condiciones específicas o por no reconocer otras. Un usuario no querría utilizar este mismo modelo generativo para decidir quién obtiene una derivación a un especialista, aunque pudiera hacerlo. Esta flexibilidad es la razón por la que abogamos por detalles adicionales sobre la manera en que se deben utilizar los modelos.
En normal, recomendamos que entrene el mejor modelo que pueda, utilizando las herramientas disponibles. Pero incluso entonces, debería haber mucha divulgación. Ningún modelo va a ser perfecto. Como sociedad, ahora entendemos que ninguna píldora es perfecta: siempre existe algún riesgo. Deberíamos tener la misma comprensión de los modelos de IA. Cualquier modelo, con o sin IA, es limitado. Puede que le brinde pronósticos realistas y bien capacitados sobre futuros potenciales, pero tómelo con el grano de sal que sea apropiado.
P: Si se implementaran etiquetas de IA, ¿quién haría el etiquetado y cómo se regularían y harían cumplir las etiquetas?
A: Si no tiene la intención de que su modelo se utilice en la práctica, entonces las divulgaciones que haría para una publicación de investigación de alta calidad son suficientes. Pero una vez que desee implementar su modelo en un entorno humano, los desarrolladores e implementadores deben realizar un etiquetado inicial, basado en algunos de los marcos establecidos. Debería haber una validación de estas afirmaciones antes del despliegue; En un entorno crítico para la seguridad como el de la atención médica, muchas agencias del Departamento de Salud y Servicios Humanos podrían participar.
Para los desarrolladores de modelos, creo que saber que será necesario etiquetar las limitaciones de un sistema induce a una consideración más cuidadosa del proceso en sí. Si sé que en algún momento tendré que revelar la población en la que se entrenó un modelo, no querría revelar que se entrenó únicamente con el diálogo de usuarios masculinos de chatbot, por ejemplo.
Pensar en cosas como sobre quién se recopilan los datos, durante qué período de tiempo, cuál fue el tamaño de la muestra y cómo decidió qué datos incluir o excluir puede abrir su mente a posibles problemas durante la implementación.
