Un investigador de políticas ex-openai de alto perfil, Millas brundage, Llevó a las redes sociales el miércoles para criticar a OpenAI por “reescribir la historia” de su enfoque de despliegue para sistemas de IA potencialmente riesgosos.
A principios de esta semana, OpenAi publicó un documento Sobre su filosofía precise sobre la seguridad y la alineación de la IA, el proceso de diseño de sistemas de IA que se comportan de manera deseable y explicable. En el documento, Openai dijo que ve el desarrollo de AGI, ampliamente definido como sistemas de IA que pueden realizar cualquier tarea que un humano puede, como un “camino continuo” que requiere “implementar y aprender iterativamente” de las tecnologías de IA.
“En un mundo discontinuo […] Las lecciones de seguridad provienen del tratamiento de los sistemas de hoy con precaución excesiva en relación con su aparente poder, [which] es el enfoque que tomamos [our AI model] GPT – 2 ”, escribió Openai. “Ahora vemos el primer AGI como solo un punto a lo largo de una serie de sistemas de utilidad creciente […] En el mundo continuo, la forma de hacer que el próximo sistema sea seguro y beneficioso es aprender del sistema precise “.
Pero Brundage afirma que GPT-2, de hecho, justificó abundante precaución en el momento de su liberación, y que esto fue “100% consistente” con la estrategia de implementación iterativa de OpenAI hoy.
“El lanzamiento de OpenAi de GPT-2, en el que estuve involucrado, fue 100% consistente [with and] presagió la filosofía precise de despliegue iterativo de OpenAi “, Brundage escribió en una publicación sobre x. “El modelo se lanzó de forma incremental, con lecciones compartidas en cada paso. Muchos expertos en seguridad en ese momento nos agradecieron por esta precaución “.
Brundage, quien se unió a Openai como científico de investigación en 2018, fue jefe de investigación de políticas de la compañía durante varios años. En el equipo de “preparación AGI” de OpenAI, tenía un enfoque explicit en la implementación responsable de los sistemas de generación de idiomas, como la plataforma AI de OpenAi, la plataforma CHATGPT.
GPT-2que anunció OpenAi en 2019, fue un progenitor de la alimentación de AI Methods Chatgpt. GPT-2 podría responder preguntas sobre un tema, resumir artículos y generar texto en un nivel a veces indistinguible del de los humanos.
Si bien GPT-2 y sus salidas pueden parecer básicas hoy, estaban de vanguardia en ese momento. Citando el riesgo de uso malicioso, OpenAi inicialmente se negó a liberar el código fuente de GPT-2, optando en lugar de brindar a los medios de comunicación seleccionados el acceso limitado a una demostración.
La decisión se encontró con revisiones mixtas de la industria de la IA. Muchos expertos argumentaron que la amenaza planteada por GPT-2 había sido exageradoy que no había evidencia del modelo que se pudiera abusar de las formas en que se describió OpenAi. Publicación centrada en AI El gradiente llegó a publicar un carta abierta Solicitar que Operai lance el modelo, argumentando que period demasiado importante para detenerse.
Operai finalmente lanzó una versión parcial de GPT-2 seis meses después de la presentación del modelo, seguido del sistema completo varios meses después. Brundage cree que este fue el enfoque correcto.
“¿Qué parte de [the GPT-2 release] ¿Estaba motivado o basado en pensar en AGI como discontinuo? Nada de eso “, dijo en una publicación sobre X.” ¿Cuál es la evidencia de esta precaución fue ‘desproporcionada’ ex ante? Ex submit, es prob. habría estado bien, pero eso no significa que fuera responsable de Yolo [sic] Información dada en ese momento “.
Brundage teme que el objetivo de OpenAi con el documento es establecer una carga de prueba donde “las preocupaciones son alarmistas” y “necesitas una evidencia abrumadora de peligros inminentes para actuar sobre ellos”. Esto, argumenta, es una mentalidad “muy peligrosa” para los sistemas de IA avanzados.
“Si todavía estuviera trabajando en Operai, me preguntaría por qué esto [document] fue escrito como period, y lo que Openai espera lograr exactamente por la precaución de caca de tala de una manera tan litera ”, agregó Brundage.
OpenAi tiene históricamente sido acusado de priorizar “productos brillantes” a expensas de la seguridad y de Lanzamientos de productos apresurados para vencer a las empresas rivales al mercado. El año pasado, OpenAI disolvió su equipo de preparación AGI, y una serie de investigadores de seguridad y seguridad de IA partieron de la compañía por sus rivales.
Las presiones competitivas solo han aumentado. Laboratorio de IA chino Deepseek capturó la atención del mundo con su disponible abiertamente R1 Modelo, que coincidió con el modelo de “razonamiento” O1 de OpenAI en varios puntos de referencia clave. El CEO de Operai, Sam Altman, tiene aceptado que Deepseek ha disminuido el plomo tecnológico de Openai, y dicho Ese OpenAi “sacaría algunos lanzamientos” para competir mejor.
Hay mucho dinero en juego. Operai pierde miles de millones anuales, y la compañía tiene según se informa proyectado que sus pérdidas anuales podrían triplicar a $ 14 mil millones para 2026. Un ciclo de liberación de productos más rápido podría beneficiar el resultado closing de OpenAI a corto plazo, pero posiblemente a expensas de la seguridad a largo plazo. Expertos como Brundage cuestionan si la compensación vale la pena.
