El Flash Crash es probablemente el ejemplo más conocido de los peligros planteados por los agentes, sistemas automentados que tienen el poder de tomar medidas en el mundo actual, sin supervisión humana. Ese poder es la fuente de su valor; Los agentes que sobrealimentaron el flash choque, por ejemplo, podrían funcionar mucho más rápido que cualquier humano. Pero también es por eso que pueden causar tanta travesura. “La gran paradoja de los agentes es que lo que los hace útiles, que son capaces de realizar una variedad de tareas, involuciona que regalan el management”, cube Iason Gabriel, un científico senior de investigación de private de Google Deepmind que se centra en la ética de la IA.
“Si continuamos en el camino precise … básicamente estamos jugando a la ruleta rusa con la humanidad”.
Yoshua Bengio, Profesor de Ciencias de la Computación, Universidad de Montreal
Los agentes ya están en todas partes, y lo han estado durante muchas décadas. Su termostato es un agente: activa o apaga automáticamente el calentador para mantener su casa a una temperatura específica. También lo son el software program antivirus y las habitaciones. Al igual que los comerciantes de alta frecuencia, que están programados para comprar o vender en respuesta a las condiciones del mercado, todos estos agentes están construidos para llevar a cabo tareas específicas siguiendo las reglas prescritas. Incluso los agentes que son más sofisticados, como Siri y autos autónomos, siguen las reglas preescritas al realizar muchas de sus acciones.
Pero en los últimos meses, una nueva clase de agentes ha llegado a la escena: los construidos con modelos de idiomas grandes. El operador, un agente de Openai, puede navegar de forma autónoma un navegador para ordenar comestibles o hacer reservas para la cena. Sistemas como Claude Code y la función de chat de Cursor pueden modificar bases de código enteras con un solo comando. Manusun agente viral del efecto de mariposa de startup china, puede construir e implementar sitios internet con poca supervisión humana. Cualquier acción que pueda ser capturada por texto, desde reproducir un videojuego utilizando comandos escritos hasta ejecutar una cuenta de redes sociales, está potencialmente dentro del alcance de este tipo de sistema.
Los agentes de LLM aún no tienen mucho historial, pero para escuchar a los CEO decirlo, transformarán la economía, y pronto. El CEO de Operai, Sam Altman, cube que los agentes podrían “Únete a la fuerza laboral” Este año, y el CEO de Salesforce, Marc Benioff, está promoviendo agresivamente Fuerza de agenteuna plataforma que permite a las empresas adaptar a los agentes a sus propios fines. El Departamento de Defensa de los Estados Unidos recientemente firmó un contrato con escala AI para diseñar y probar a los agentes para uso militar.
Los estudiosos también están tomando en serio a los agentes. “Los agentes son la próxima frontera”, cube Daybreak Tune, profesor de ingeniería eléctrica e informática en la Universidad de California, Berkeley. Pero, ella cube, “para que nos beneficiemos realmente de la IA, en realidad [use it to] Resuelve problemas complejos, necesitamos descubrir cómo hacer que funcionen de manera segura y segura “.
Patrick Leger
Eso es una tarea difícil. Al igual que los chatbot llms, los agentes pueden ser caóticos e impredecibles. En el futuro cercano, un agente con acceso a su cuenta bancaria podría ayudarlo a administrar su presupuesto, pero también puede gastar todos sus ahorros o filtrar su información a un hacker. Un agente que administra sus cuentas de redes sociales podría aliviar parte del trabajo pesado de mantener una presencia en línea, pero también podría difundir falsedades o abusos en otros usuarios.
Yoshua Bengio, profesor de informática en la Universidad de Montreal y uno de los llamados “padrinos de IA”, se encuentra entre los interesados en tales riesgos. Sin embargo, lo que lo preocupa sobre todo es la posibilidad de que LLMS pueda desarrollar sus propias prioridades e intenciones, y luego actuar sobre ellos, utilizando sus habilidades del mundo actual. Un LLM atrapado en una ventana de chat no puede hacer mucho sin asistencia humana. Pero un poderoso agente de inteligencia synthetic podría duplicarse a sí mismo, anular las salvaguardas o evitar que se cierre. A partir de ahí, podría hacer lo que quisiera.
A partir de ahora, no hay una forma infalible de garantizar que los agentes actúen como sus desarrolladores intentan o para evitar que los actores maliciosos los usen mal. Y aunque investigadores como Bengio están trabajando duro para desarrollar nuevos mecanismos de seguridad, es posible que no puedan mantenerse al día con la rápida expansión de los poderes de los agentes. “Si continuamos en el camino precise de la construcción de sistemas de agente”, cube Bengio, “básicamente estamos jugando a la ruleta rusa con la humanidad”.
