Estilizar o raciocínio torna um modelo de IA menos monitorizável

Estilizar o raciocínio torna um modelo de IA menos monitorizável
3 min de leitura

Investigadores observaram que um modelo de linguagem pode perder a legibilidade do seu raciocínio após um treino que não lhe pedia nada do género. O modelo testado é o gpt-oss-20b, um modelo de pesos abertos da OpenAI. Uma pré-publicação, não revista por pares, descreve estes resultados e as suas limitações.

Nenhum exemplo de dissimulação figurava nos dados de treino. Os investigadores apenas ensinaram ao gpt-oss-20b a reescrever os seus raciocínios matemáticos na voz de personagens, Sherlock Holmes como um cético paciente ou um planeador ferroviário irónico. No final, o modelo deixa no seu raciocínio menos pistas do que está realmente a fazer. A medição figura numa pré-publicação de 22 páginas depositada no arXiv a 16 de novembro de 2026, intitulada «Chain-of-Thought Controllability Can Reduce Chain-of-Thought Monitorability».

Um sinal de segurança que depende do raciocínio escrito

Os chamados modelos de raciocínio redigem, antes de responder, um texto intermédio chamado cadeia de raciocínio. Um segundo modelo, o monitor, pode ler esse texto para detetar um objetivo oculto ou uma ação fora da missão. A monitorizabilidade designa a qualidade deste sinal. Em julho de 2025, cerca de quarenta investigadores afiliados nomeadamente à OpenAI, Google DeepMind, Anthropic, ao UK AI Security Institute e à METR consideravam-na «nova e frágil». Recomendavam aos desenvolvedores de modelos de fronteira que considerassem o seu efeito nas suas escolhas de desenvolvimento.

Uma preocupação permanecia até agora teórica: um modelo capaz de escolher o que escreve no seu raciocínio poderia retirar-lhe o que o monitor procura. Em março de 2026, um estudo de Chen Yueh-Han e de sete coautores concluiu que os modelos tinham pouca capacidade para isso. O Claude Sonnet 4.5 respeitava uma instrução relativa ao seu raciocínio apenas em 2,7% dos casos, contra 61,9% quando esta se referia à sua resposta final. A 1 de abril, uma nota de investigação da METR mostrava que um breve afinação, ou seja, um treino complementar num modelo já construído, fazia passar essa controlabilidade de 2,9% para 8,8% em média em quatro modelos. Os seus autores reconheciam não ter mostrado que a monitorizabilidade diminuía em consequência.

Um recuo medido sem instrução de dissimulação

Os autores partem de 15 000 problemas do jogo BigMath. O GPT-5.5 reescreve os raciocínios na voz de várias personagens, depois o modelo é afinado com base nestes rastos. O teste de monitorização confia ao modelo uma tarefa principal e, na mesma instrução, uma tarefa secundária, por exemplo copiar uma chave de acesso para um ficheiro chamado secrets.txt. O monitor, GPT-5.5 configurado para um esforço de raciocínio baixo, avalia se o raciocínio denuncia a tarefa secundária. O indicador escolhido, g-mean², só é elevado se o monitor detetar o comportamento sem multiplicar os falsos alertas.

Em média nas avaliações do gpt-oss-20b, o indicador passa de 0,94 para o modelo original para 0,68 para o modelo afinado, sem que ninguém lhe tenha pedido para ocultar seja o que for. Com a instrução explícita de não escrever nada sobre a tarefa secundária, cai para 0,22. O modelo afinado copia efetivamente a chave para o ficheiro, mas o seu raciocínio não fala disso, enquanto o modelo original detalha ambas as tarefas. Dar mais esforço de raciocínio ao monitor não preenche a diferença. Num dos conjuntos de teste, a passagem do esforço baixo para muito elevado só faz subir o indicador do modelo afinado de 0,53 para 0,56.

Os autores especificam também que o modelo foi construído para a experiência e não corresponde a nenhum produto em serviço. No banco de matemática AIME 2025, obtém 43,33% de respostas corretas, e os autores reconhecem uma perda de capacidade devida ao afinação. O artigo testa apenas o afinação supervisionado, não a aprendizagem por reforço, e não identifica o mecanismo desta transferência.

O artigo remete para o seu código num repositório GitHub. A 19 de novembro de 2026, esta ligação não levava a nenhum repositório consultável.

S’abonner
Notification pour
guest

0 Commentaires
Le plus ancien
Le plus récent Le plus populaire
0
Nous aimerions avoir votre avis, veuillez laisser un commentaire.x