Van der Vliet y otros defensores del bienestar que conocí en mi viaje, al igual que los representantes de la Unión de Bienestar de Amsterdam, describieron lo que ven como una serie de desafíos que enfrentan los 35,000 beneficios de beneficios de la ciudad: las indignidades de tener que volver constantemente la necesidad de beneficios, los aumentos en el costo de la vida de que los pagos de beneficios no reflejan, y la sensación basic de la distribución entre los destinatarios y el gobierno.
Los propios funcionarios de bienestar de la ciudad reconocen los defectos del sistema, que “se mantiene unido por gomas y productos básicos”, como nos dijo Harry Bodaar, un asesor de políticas senior de la ciudad que se enfoca en la aplicación de fraude de bienestar. “Y si estás en la parte inferior de ese sistema, eres el primero en caer a través de las grietas”.
Entonces, el consejo de participación no quería un cheque inteligente, incluso cuando Bodaar y otros que trabajaban en el departamento esperaban que pudiera arreglar el sistema. Es un ejemplo clásico de un “problema malvado“Un problema social o cultural sin respuesta clara y muchas consecuencias potenciales.
Después de que se publicó la historia, escuché de Suresh Venkatasubramanian, ex asesor de tecnología de la Oficina de Política de Ciencia y Tecnología de la Casa Blanca que coescribió la Declaración de Derechos de AI de Biden (ahora rescindida por Trump). “Necesitamos participación desde el principio de las comunidades”, dijo, pero agregó que también importa lo que los funcionarios hacen con los comentarios, y si existe “una voluntad de replantear la intervención basada en lo que la gente realmente quiere”.
Si la ciudad hubiera comenzado con una pregunta diferente, lo que la gente realmente quiere, tal vez podría haber desarrollado un algoritmo completamente diferente. Como nos expresó el defensor de los derechos digitales holandeses Hans de Zwart, “estamos siendo seducidos por soluciones tecnológicas para los problemas incorrectos … ¿por qué el municipio no construye un algoritmo que busque personas que no soliciten asistencia social pero que tienen derecho a él?”
Estos son los tipos de preguntas fundamentales que los desarrolladores de IA deberán considerar, o corren el riesgo de repetir (o ignorar) los mismos errores una y otra vez.
Venkatasubramanian me dijo que encontró que la historia period “afirmativa” al destacar la necesidad de “aquellos a cargo de gobernar estos sistemas” para “hacer preguntas difíciles … comenzando con si deberían usarse en absoluto”.
Pero también llamó a la historia de “humilde”: “Incluso con buenas intenciones y un deseo de beneficiarse de toda la investigación sobre IA responsable, todavía es posible construir sistemas que sean fundamentalmente defectuosos, por razones que van mucho más allá de los detalles de las construcciones del sistema”.
Para comprender mejor este debate, lea nuestra historia completa aquí. Y si desea más detalles sobre cómo realizamos nuestras propias pruebas de sesgo después de que la ciudad nos dio un acceso sin precedentes al algoritmo de cheques inteligentes, consulte la metodología en Faro. (Para cualquier orador holandés, aquí está el compañero historia en Solucionar.) Gracias al Centro Pulitzer por apoyar nuestros informes.
Esta historia apareció originalmente en El algoritmonuestro boletín semanal en AI. Para obtener historias como esta en su bandeja de entrada primero, Regístrese aquí.
