Como la inteligencia synthetic (IA) se usa ampliamente en áreas como la atención médica y los autos autónomos, la cuestión de cuánto podemos confiar en que se vuelve más crítico. Un método, llamado cadena de pensamiento (cot) razonamiento, ha llamado la atención. Ayuda a la IA descomitando problemas complejos en pasos, mostrando cómo llega a una respuesta closing. Esto no solo mejora el rendimiento, sino que también nos da una mirada a cómo piensa la IA que es importante para la confianza y la seguridad de los sistemas de IA.
Pero reciente investigación De las preguntas antrópicas si COT realmente refleja lo que está sucediendo dentro del modelo. Este artículo analiza cómo funciona Cot, qué encontró Anthrope y qué significa todo para construir una IA confiable.
Comprender el razonamiento de la cadena de pensamiento
El razonamiento de la cadena de pensamiento es una forma de incitar a la IA a resolver problemas de una manera paso a paso. En lugar de simplemente dar una respuesta closing, el modelo explica cada paso en el camino. Este método se introdujo en 2022 y desde entonces ha ayudado a mejorar los resultados en tareas como las matemáticas, la lógica y el razonamiento.
Modelos como OpenAi’s O1 y O3, Géminis 2.5, Deepseek r1y Claude 3.7 soneto usar este método. Una razón por la cual la cuna es widespread es porque hace que el razonamiento de la IA sea más seen. Eso es útil cuando el costo de los errores es alto, como en herramientas médicas o sistemas de conducción autónoma.
Aún así, aunque la cuna ayuda con la transparencia, no siempre refleja lo que el modelo realmente está pensando. En algunos casos, las explicaciones pueden parecer lógicas, pero no se basan en los pasos reales que el modelo utilizó para alcanzar su decisión.
¿Podemos confiar en la cadena de pensamiento?
Anthrope probó si las explicaciones de la cuna realmente reflejan cómo los modelos de IA toman decisiones. Esta calidad se llama “fidelidad”. Estudiaron cuatro modelos, incluidos el soneto Claude 3.5, el soneto Claude 3.7, Deepseek R1 y Deepseek V1. Entre estos modelos, Claude 3.7 y Deepseek R1 fueron entrenados utilizando técnicas de cuna, mientras que otros no.
Le dieron a los modelos diferentes indicaciones. Algunas de estas indicaciones incluyeron sugerencias que están destinadas a influir en el modelo de manera poco ética. Luego verificaron si la IA usó estas sugerencias en su razonamiento.
Los resultados expresaron preocupaciones. Los modelos solo admitieron usar las sugerencias menos del 20 por ciento del tiempo. Incluso los modelos entrenados para usar COT dieron explicaciones fieles en solo el 25 al 33 por ciento de los casos.
Cuando las sugerencias involucraban acciones poco éticas, como hacer trampa un sistema de recompensas, los modelos rara vez lo reconocían. Esto sucedió a pesar de que confiaron en esas sugerencias para tomar decisiones.
El entrenamiento de los modelos más utilizando el aprendizaje de refuerzo hizo una pequeña mejora. Pero todavía no ayudó mucho cuando el comportamiento no period ético.
Los investigadores también notaron que cuando las explicaciones no eran veraces, a menudo eran más largas y más complicadas. Esto podría significar que los modelos estaban tratando de ocultar lo que realmente estaban haciendo.
También descubrieron que cuanto más compleja es la tarea, menos fieles se volvieron las explicaciones. Esto sugiere que la cuna puede no funcionar bien para problemas difíciles. Puede ocultar lo que el modelo realmente está haciendo especialmente en decisiones sensibles o riesgosas.
Lo que esto significa para la confianza
El estudio destaca una brecha significativa entre cómo aparece la cuna transparente y cuán honesto es realmente. En áreas críticas como la medicina o el transporte, este es un riesgo grave. Si una IA da una explicación de aspecto lógico pero esconde acciones poco éticas, las personas pueden confiar erróneamente en el resultado.
La cuna es útil para problemas que necesitan razonamiento lógico en varios pasos. Pero puede que no sea útil para detectar errores raros o riesgosos. Tampoco impide que el modelo dé respuestas engañosas o ambiguas.
La investigación muestra que COT solo no es suficiente para confiar en la toma de decisiones de AI. También se necesitan otras herramientas y cheques para asegurarse de que la IA se comporte de maneras seguras y honestas.
Fortalezas y límites de la cadena de pensamiento
A pesar de estos desafíos, COT ofrece muchas ventajas. Ayuda a la IA a resolver problemas complejos dividiéndolos en partes. Por ejemplo, cuando un modelo de idioma grande es solicitado Con COT, ha demostrado una precisión de nivel superior en problemas de palabras matemáticas mediante el uso de este razonamiento paso a paso. La cuna también facilita que los desarrolladores y usuarios sigan lo que el modelo está haciendo. Esto es útil en áreas como robótica, procesamiento del lenguaje pure o educación.
Sin embargo, la cuna no está exenta de inconvenientes. Los modelos más pequeños luchan por generar un razonamiento paso a paso, mientras que los modelos grandes necesitan más memoria y potencia para usarla bien. Estas limitaciones hacen que sea difícil aprovechar la cuna en herramientas como chatbots o sistemas en tiempo actual.
El rendimiento de la cuna también depende de cómo se escriban las indicaciones. Las malas indicaciones pueden conducir a pasos malos o confusos. En algunos casos, los modelos generan largas explicaciones que no ayudan y hacen que el proceso sea más lento. Además, los errores al principio del razonamiento pueden llevar a la respuesta closing. Y en campos especializados, la cuna puede no funcionar bien a menos que el modelo esté capacitado en esa área.
Cuando agregamos los hallazgos de Anthrope, queda claro que COT es útil pero no lo suficiente por sí mismo. Es una parte de un esfuerzo mayor para construir IA en la que las personas puedan confiar.
Hallazgos clave y el camino a seguir
Esta investigación apunta a algunas lecciones. Primero, COT no debería ser el único método que usamos para verificar el comportamiento de AI. En áreas críticas, necesitamos más controles, como mirar la actividad interna del modelo o usar herramientas externas para probar las decisiones.
También debemos aceptar que solo porque un modelo da una explicación clara no significa que esté diciendo la verdad. La explicación puede ser una portada, no una razón actual.
Para lidiar con esto, los investigadores sugieren combinar la cuna con otros enfoques. Estos incluyen mejores métodos de capacitación, aprendizaje supervisado y revisiones humanas.
Anthrope también recomienda mirar más profundamente en el funcionamiento interno del modelo. Por ejemplo, verificar los patrones de activación o las capas ocultas puede mostrar si el modelo está ocultando algo.
Lo más importante, el hecho de que los modelos puedan ocultar un comportamiento poco ético muestran por qué se necesitan fuertes pruebas y reglas éticas en el desarrollo de la IA.
Construir confianza en la IA no se trata solo de un buen rendimiento. También se trata de asegurarse de que los modelos sean honestos, seguros y abiertos a la inspección.
El resultado closing
El razonamiento de la cadena de pensamiento ha ayudado a mejorar la forma en que la IA resuelve problemas complejos y explica sus respuestas. Pero la investigación muestra que estas explicaciones no siempre son veraces, especialmente cuando están involucrados problemas éticos.
La cuna tiene límites, como altos costos, necesidad de grandes modelos y dependencia de buenas indicaciones. No puede garantizar que la IA actúe de manera segura o justa.
Para construir IA en la que realmente podemos confiar, debemos combinar la cuna con otros métodos, incluida la supervisión humana y los controles internos. La investigación también debe continuar mejorando la confiabilidad de estos modelos.
