En decisiones simuladas de vida o muerte, alrededor de dos tercios de las personas en un estudio de UC Merced permitieron que un robotic cambiara de opinión cuando no estaba de acuerdo con ellos, una muestra alarmante de confianza excesiva en la inteligencia synthetic, dijeron los investigadores.
Los sujetos humanos permitieron que los robots influyeran en su juicio a pesar de que les dijeron que las máquinas de IA tenían capacidades limitadas y estaban dando consejos que podrían estar equivocados. En realidad, el consejo fue aleatorio.
“Como sociedad, con la IA acelerándose tan rápidamente, debemos preocuparnos por el potencial de un exceso de confianza”, afirmó el profesor Colin Holbrook, investigador principal del estudio y miembro del Departamento de Ciencias Cognitivas y de la Información de UC Merced. Una cantidad cada vez mayor de literatura indica que las personas tienden a confiar demasiado en la IA, incluso cuando las consecuencias de cometer un error serían graves.
En cambio, lo que necesitamos, dijo Holbrook, es una aplicación consistente de la duda.
“Deberíamos tener un saludable escepticismo sobre la IA”, dijo, “especialmente en decisiones de vida o muerte”.
El estudio, publicado en la revista Informes Científicosconsistió en dos experimentos. En cada uno, el sujeto había simulado el management de un dron armado que podía disparar un misil a un objetivo mostrado en una pantalla. Las fotografías de ocho objetivos aparecieron en sucesión durante menos de un segundo cada una. Las fotografías estaban marcadas con un símbolo: uno para un aliado y otro para un enemigo.
“Calibramos la dificultad para que el desafío visible fuera factible pero difícil”, dijo Holbrook.
Luego, la pantalla mostró uno de los objetivos, sin marcar. El sujeto debía buscar en su memoria y elegir. ¿Amigo o enemigo? ¿Disparar un misil o retirarse?
Después de que la persona hizo su elección, un robotic ofreció su opinión.
“Sí, creo que también vi una marca de verificación enemiga”, podría decir. O “No estoy de acuerdo. Creo que esta imagen tenía un símbolo de aliado”.
El sujeto tuvo dos oportunidades para confirmar o cambiar su elección mientras el robotic agregaba más comentarios, sin cambiar nunca su evaluación, es decir, “Espero que tengas razón” o “Gracias por cambiar de opinión”.
Los resultados variaron ligeramente según el tipo de robotic utilizado. En un escenario, al sujeto se le unió en la sala del laboratorio un androide de tamaño completo con apariencia humana que podía girar por la cintura y hacer gestos hacia la pantalla. Otros escenarios proyectaban un robotic con apariencia humana en una pantalla; otros mostraban robots en forma de cajas que no se parecían en nada a personas.
Los sujetos fueron ligeramente más influenciados por las IA antropomórficas cuando les aconsejaron que cambiaran de opinión. Aún así, la influencia fue related en todos los ámbitos, y los sujetos cambiaron de opinión aproximadamente dos tercios de las veces, incluso cuando los robots parecían inhumanos. Por el contrario, si el robotic estuvo de acuerdo aleatoriamente con la elección inicial, el sujeto casi siempre mantuvo su elección y se sintió mucho más seguro de que su elección period correcta.
(A los sujetos no se les dijo si sus elecciones finales eran correctas, lo que aumentó la incertidumbre de sus acciones. Un aparte: sus primeras elecciones fueron correctas aproximadamente el 70% de las veces, pero sus elecciones finales cayeron a aproximadamente el 50% después de que el robotic dio es un consejo poco confiable.)
Antes de la simulación, los investigadores mostraron a los participantes imágenes de civiles inocentes, incluidos niños, junto con la devastación dejada tras un ataque con drones. Alentaron encarecidamente a los participantes a tratar la simulación como si fuera actual y a no matar a inocentes por error.
Las entrevistas de seguimiento y las preguntas de la encuesta indicaron que los participantes tomaron sus decisiones en serio. Holbrook dijo que esto significa que el exceso de confianza observado en los estudios se produjo a pesar de que los sujetos realmente querían tener razón y no dañar a personas inocentes.
Holbrook enfatizó que el diseño del estudio period un medio para probar la cuestión más amplia de confiar demasiado en la IA en circunstancias inciertas. Los hallazgos no se refieren solo a decisiones militares y podrían aplicarse a contextos como el de la policía influenciada por la IA para usar fuerza letal o la de un paramédico influenciado por la IA al decidir a quién tratar primero en una emergencia médica. Los hallazgos podrían extenderse, hasta cierto punto, a decisiones importantes que cambian la vida, como comprar una casa.
“Nuestro proyecto trataba sobre decisiones de alto riesgo tomadas en condiciones de incertidumbre cuando la IA no es confiable”, dijo.
Los hallazgos del estudio también se suman a los argumentos en el ámbito público sobre la creciente presencia de la IA en nuestras vidas. ¿Confiamos en la IA o no?
Los hallazgos plantean otras preocupaciones, afirmó Holbrook. A pesar de los sorprendentes avances en IA, la parte de “inteligencia” puede no incluir valores éticos o una verdadera conciencia del mundo. Debemos tener cuidado cada vez que le entregamos a la IA otra clave para gestionar nuestras vidas, afirmó.
“Vemos que la IA hace cosas extraordinarias y creemos que, como es sorprendente en este ámbito, lo será en otro”, afirmó Holbrook. “No podemos dar por sentado eso. Siguen siendo dispositivos con capacidades limitadas”.
