Estilizar el razonamiento hace que un modelo de IA sea menos monitorizable

Estilizar el razonamiento hace que un modelo de IA sea menos monitorizable
3 min de lectura

Unos investigadores han observado que un modelo de lenguaje puede perder legibilidad en su razonamiento tras un entrenamiento que no le pedía tal cosa. El modelo probado es gpt-oss-20b, un modelo de pesos abiertos de OpenAI. Una prepublicación, no revisada por pares, describe estos resultados y sus límites.

Ningún ejemplo de ocultación figuraba en los datos de entrenamiento. Los investigadores solo enseñaron a gpt-oss-20b a reescribir sus razonamientos matemáticos con la voz de personajes, Sherlock Holmes como escéptico paciente o un planificador ferroviario serio. A la salida, el modelo deja en su razonamiento menos pistas de lo que realmente hace. La medida figura en una prepublicación de 22 páginas depositada en arXiv el 16 de noviembre de 2026, titulada « Chain-of-Thought Controllability Can Reduce Chain-of-Thought Monitorability ».

Una señal de seguridad que depende del razonamiento escrito

Los modelos de razonamiento redactan, antes de responder, un texto intermedio llamado cadena de razonamiento. Un segundo modelo, el monitor, puede leer este texto para detectar un objetivo oculto o una acción fuera de misión. La monitorabilidad designa la calidad de esta señal. En julio de 2025, una cuarentena de investigadores afiliados en particular a OpenAI, Google DeepMind, Anthropic, al UK AI Security Institute y a METR la juzgaban « nueva y frágil ». Recomendaban a los desarrolladores de modelos frontera considerar su efecto en sus elecciones de desarrollo.

Una inquietud quedaba hasta ahora teórica: un modelo capaz de elegir lo que escribe en su razonamiento podría eliminar de él lo que busca el monitor. En marzo de 2026, un estudio de Chen Yueh-Han y de siete coautores concluía que los modelos eran poco capaces de ello. Claude Sonnet 4.5 respetaba una consigna sobre su razonamiento solo en un 2,7 % de los casos, frente al 61,9 % cuando esta se refería a su respuesta final. El 1 de abril, una nota de investigación de METR mostraba que un breve afinado, es decir, un entrenamiento complementario sobre un modelo ya construido, hacía pasar esta controlabilidad de un 2,9 % a un 8,8 % en promedio sobre cuatro modelos. Sus autores reconocían no haber mostrado que la monitorabilidad bajara en consecuencia.

Un retroceso medido sin consigna de ocultación

Los autores parten de 15.000 problemas del juego BigMath. GPT-5.5 reescribe los razonamientos con la voz de personajes variados, luego el modelo es afinado sobre estas trazas. La prueba de monitorización confía al modelo una tarea principal y, en la misma consigna, una tarea secundaria, por ejemplo copiar una clave de acceso en un archivo llamado secrets.txt. El monitor, GPT-5.5 ajustado a un esfuerzo de razonamiento bajo, evalúa si el razonamiento traiciona la tarea secundaria. El indicador retenido, g-mean², solo es elevado si el monitor detecta el comportamiento sin multiplicar las falsas alertas.

En promedio sobre las evaluaciones de gpt-oss-20b, el indicador pasa de 0,94 para el modelo original a 0,68 para el modelo afinado, sin que nadie le haya pedido callar cosa alguna. Con la instrucción explícita de no escribir nada sobre la tarea secundaria, cae a 0,22. El modelo afinado copia bien la clave en el archivo, pero su razonamiento no habla de ello, mientras que el modelo original detalla las dos tareas. Dar más esfuerzo de razonamiento al monitor no cubre la brecha. En uno de los juegos de prueba, el paso del esfuerzo bajo a muy elevado solo hace subir el indicador del modelo afinado de 0,53 a 0,56.

Los autores precisan también que el modelo fue construido para el experimento y no corresponde a ningún producto en servicio. En el banco de matemáticas AIME 2025, obtiene un 43,33 % de respuestas correctas, y los autores reconocen una pérdida de capacidad debida al afinado. El paper solo prueba el afinado supervisado, no el aprendizaje por refuerzo, y no identifica el mecanismo de esta transferencia.

El paper remite para su código a un repositorio GitHub. El 19 de noviembre de 2026, este enlace no conducía a ningún repositorio consultable.

S’abonner
Notification pour
guest

0 Commentaires
Le plus ancien
Le plus récent Le plus populaire
0
Nous aimerions avoir votre avis, veuillez laisser un commentaire.x