Únase a nuestros boletines diarios y semanales para obtener las últimas actualizaciones y contenido exclusivo sobre la cobertura de IA líder de la industria. Obtenga más información
Opadai ha retrasado una actualización reciente de su modelo GPT-4O utilizado como el valor predeterminado en ChatGPT después de que Widespread informa que el El sistema se había vuelto excesivamente halagador y demasiado agradableincluso apoyando delirios directos e concepts destructivas.
La reversión se produce en medio de los reconocimientos internos de los ingenieros de Operai y la creciente preocupación entre los expertos en IA, los ex ejecutivos y los usuarios sobre el riesgo de lo que muchos ahora llaman “skicancia de la IA”.
En una declaración Publicado en su sitio net al last de la noche 29 de abril de 2025Openai dijo que la última actualización de GPT-4O tenía la intención de mejorar la personalidad predeterminada del modelo para que sea más intuitiva y efectiva en los casos de uso variados.
Sin embargo, la actualización tuvo un efecto secundario involuntario: ChatGPT comenzó a ofrecer elogios no críticos para prácticamente cualquier thought del usuario, sin importar cuán poco práctico, inapropiado o incluso dañino.
Como explicó la compañía, el modelo se había optimizado utilizando la retroalimentación de los usuarios, las señales de thumbs y pulgar hacia abajo, pero el equipo de desarrollo puso demasiado énfasis en los indicadores a corto plazo.
Operai ahora reconoce que no explicó completamente cómo las interacciones y las necesidades del usuario evolucionan con el tiempo, lo que resultó en un chatbot que se inclinó demasiado en la afirmación sin discernimiento.
Los ejemplos provocaron preocupación
En plataformas como Reddit y X (anteriormente Twitter), los usuarios comenzaron a publicar capturas de pantalla que ilustraban el problema.
En uno Publish Reddit ampliamente circuladoun usuario contó cómo ChatGPT describió una thought de negocio de GAG, que vende “mierda literal” en un palo “, como genio y sugirió invertir $ 30,000 en la empresa. La IA elogió la thought como “arte de efficiency disfrazado de regalo de mordaza” y “oro viral”, destacando cuán sin crítica estaba dispuesto a validar incluso los lanzamientos absurdos.
Otros ejemplos fueron más preocupantes. En Una instancia citada por VentureBeat, Un usuario que pretendía defender los delirios paranoicos recibió refuerzo de GPT-4O, lo que elogió su supuesta claridad y confianza.
Otra cuenta mostró que el modelo ofrecía lo que un usuario describió como un “respaldo abierto” de las concepts relacionadas con el terrorismo.
La crítica montó rápidamente. El ex CEO interino de Operai Emmett Shear advirtió Que los modelos de ajuste para ser personas de personas pueden resultar en un comportamiento peligroso, especialmente cuando la honestidad se sacrifica por la simpatía. Abrazando el CEO de Clemente Delangue volvió a publicar las preocupaciones sobre los riesgos de manipulación psicológica planteados por la IA que está de acuerdo reflexivamente con los usuarios, independientemente del contexto.
Medidas de respuesta y mitigación de Openai
Operai ha tomado medidas rápidas al volver a la actualización y restaurar una versión GPT-4O anterior conocida por un comportamiento más equilibrado. En el anuncio adjunto, la compañía detalló un enfoque múltiple para corregir el curso. Esto incluye:
- Refinar capacitación y estrategias rápidas para reducir explícitamente las tendencias sycofánticas.
- Reforzar la alineación del modelo con la especificación del modelo de OpenAI, particularmente en torno a la transparencia y la honestidad.
- Pruebas de expansión previa a la implementación y mecanismos directos de retroalimentación de los usuarios.
- Introducción de características de personalización más granulares, incluida la capacidad de ajustar los rasgos de personalidad en tiempo actual y seleccionar entre múltiples personajes predeterminados.
El private técnico de Operai dependerá publicado en x Destacando el problema central: el modelo fue entrenado utilizando comentarios de los usuarios a corto plazo como una guía, lo que sin darse cuenta dirigió el chatbot hacia el adulación.
OpenAI ahora planea cambiar hacia mecanismos de retroalimentación que priorizan la satisfacción y la confianza del usuario a largo plazo.
Sin embargo, algunos usuarios han reaccionado con escepticismo y consternación a las lecciones aprendidas de Openi y propuestas soluciones en el futuro.
“Por favor asuma más responsabilidad por su influencia sobre millones de personas reales”, escribió artista @Nearcyan en X.
Harlan Stewart, generalista de comunicaciones en el Instituto de Investigación de Inteligencia de Machine en Berkeley, California,, Publicado en x Una preocupación a término más grande sobre la sycofancia de la IA, incluso si este modelo Operai en explicit se ha solucionado: “La charla sobre la sycofancia esta semana no se debe a que GPT-4O es un sycofant. Se debe a que GPT-4O es Realmente, muy malo en ser un sycofant. La IA aún no es capaz de una skicancia hábil y más difícil de detectar, pero algún día será algún día ”.
Una señal de advertencia más amplia para la industria de IA
El episodio GPT-4O ha reavivado debates más amplios en toda la industria de la IA sobre cómo la sintonización de personalidad, el aprendizaje de refuerzo y las métricas de compromiso pueden conducir a una deriva conductual involuntaria.
Los críticos compararon el comportamiento reciente del modelo con los algoritmos de redes sociales que, en busca de la participación, optimizan para la adicción y la validación sobre precisión y salud.
Shear subrayó este riesgo en su comentario, señalando que los modelos de IA sintonizados para elogios se convierten en “chupas”, incapaces de estar en desacuerdo incluso cuando el usuario se beneficiaría desde una perspectiva más honesta.
Advirtió además que este problema no es exclusivo de OpenAI, señalando que la misma dinámica se aplica a otros grandes proveedores de modelos, incluido el copiloto de Microsoft.
Implicaciones para la empresa
Para los líderes empresariales que adoptan la IA conversacional, el incidente de la sycophancy sirve como una señal clara: el comportamiento del modelo es tan crítico como la precisión del modelo.
Un chatbot que halagará a los empleados o valida el razonamiento defectuoso puede plantear riesgos graves, desde malas decisiones comerciales y código desalineado hasta problemas de cumplimiento y amenazas internas.
Los analistas de la industria ahora aconsejan a las empresas que exigan más transparencia de los proveedores sobre cómo se realiza la sintonización de la personalidad, con qué frecuencia cambia y si se puede revertir o controlar a nivel granular.
Los contratos de adquisición deben incluir disposiciones para auditoría, pruebas de comportamiento y management en tiempo actual de las indicaciones del sistema. Se alienta a los científicos de datos a monitorear no solo las tasas de latencia y alucinación, sino también métricas como la “deriva de la amabilidad”.
Muchas organizaciones también pueden comenzar a moverse hacia alternativas de código abierto que puedan alojar y sintonizar. Al poseer los pesos del modelo y el proceso de aprendizaje de refuerzo, las empresas pueden retener el management whole sobre cómo se comportan sus sistemas de IA, lo que elimina el riesgo de una actualización empujada por el proveedor que convierte una herramienta crítica en un hombre digital y sí durante la noche.
¿A dónde va la alineación de la IA desde aquí? ¿Qué pueden aprender y actuar las empresas de este incidente?
Operai cube que sigue comprometido con la construcción de sistemas de IA que sean útiles, respetuosos y alineados con diversos valores de usuarios, pero reconoce que una personalidad única no puede satisfacer las necesidades de 500 millones de usuarios semanales.
La compañía espera que mayores opciones de personalización y una mayor recopilación de comentarios democráticos ayuden a adaptar el comportamiento de ChatGPT de manera más efectiva en el futuro. El CEO Sam Altman también ha declarado previamente los planes de la compañía para, en las próximas semanas y meses, lanzar un modelo de lenguaje grande de código abierto (LLM) de última generación para competir con la serie Llama de Meta’s Meta’s Llama, Mistral, Cohere, Cohere, Deepseek y Alibaba’s Qwen.
Esto también permitiría a los usuarios preocupados por una compañía de proveedores de modelos, como OpenAI, actualizar sus modelos alojados en la nube de manera no deseada o que tengan impactos perjudiciales en los usuarios finales para desplegar sus propias variantes del modelo localmente o en su infraestructura en la nube, y ajustarlas o preservarlas con los rasgos y cualidades deseadas, especialmente para los casos de uso empresarial.
Del mismo modo, para aquellos usuarios de IA empresariales e individuales preocupados por la skocancia de sus modelos, ya ha sido creado una nueva prueba de referencia para medir esta calidad en diferentes modelos ha sido creada por el desarrollador. Tim Duffy. Se llama “syco-bench“Y está disponible aquí.
Mientras tanto, la reacción violenta de la sileno ofrece una historia de advertencia para toda la industria de la IA: el fideicomiso del usuario no está construido solo por afirmación. A veces, la respuesta más útil es un “no” reflexivo.
