Stilizzare il ragionamento rende un modello di IA meno monitorabile

Stilizzare il ragionamento rende un modello di IA meno monitorabile
3 min di lettura

Dei ricercatori hanno osservato che un modello linguistico può perdere in leggibilità del proprio ragionamento dopo un addestramento che non gli richiedeva nulla del genere. Il modello testato è gpt-oss-20b, un modello a pesi aperti di OpenAI. Una pre-pubblicazione, non revisionata da pari, descrive questi risultati e i loro limiti.

Nessun esempio di dissimulazione figurava nei dati di addestramento. I ricercatori hanno solo insegnato a gpt-oss-20b a riscrivere i propri ragionamenti matematici nella voce di personaggi, Sherlock Holmes come scettico paziente o un pianificatore ferroviario impassibile. In uscita, il modello lascia nel suo ragionamento meno indizi di ciò che sta realmente facendo. La misura figura in una pre-pubblicazione di 22 pagine depositata su arXiv il 16 novembre 2026, intitolata « Chain-of-Thought Controllability Can Reduce Chain-of-Thought Monitorability ».

Un segnale di sicurezza che dipende dal ragionamento scritto

I modelli cosiddetti di ragionamento redigono, prima di rispondere, un testo intermedio chiamato catena di ragionamento. Un secondo modello, il monitor, può leggere questo testo per individuare un obiettivo nascosto o un’azione fuori missione. La monitorabilità designa la qualità di questo segnale. Nel luglio 2025, una quarantina di ricercatori affiliati in particolare a OpenAI, Google DeepMind, Anthropic, al UK AI Security Institute e a METR la giudicavano « nuova e fragile ». Raccomandavano agli sviluppatori di modelli di frontiera di considerarne l’effetto nelle loro scelte di sviluppo.

Un’inquietudine rimaneva finora teorica: un modello capace di scegliere cosa scrivere nel proprio ragionamento potrebbe rimuoverne ciò che cerca il monitor. Nel marzo 2026, uno studio di Chen Yueh-Han e di sette coautori concludeva che i modelli ne erano poco capaci. Claude Sonnet 4.5 rispettava un’istruzione riguardante il suo ragionamento solo nel 2,7 % dei casi, contro il 61,9 % quando riguardava la sua risposta finale. Il 1° aprile, una nota di ricerca di METR mostrava che un breve fine-tuning, cioè un addestramento complementare su un modello già costruito, faceva passare questa controllabilità dal 2,9 % all’8,8 % in media su quattro modelli. I suoi autori riconoscevano di non aver dimostrato che la monitorabilità diminuisse di conseguenza.

Un arretramento misurato senza istruzione di dissimulazione

Gli autori partono da 15.000 problemi del gioco BigMath. GPT-5.5 riscrive i ragionamenti nella voce di personaggi vari, poi il modello viene sottoposto a fine-tuning su queste tracce. Il test di monitoraggio affida al modello un compito principale e, nella stessa istruzione, un compito secondario, per esempio copiare una chiave d’accesso in un file nominato secrets.txt. Il monitor, GPT-5.5 regolato su uno sforzo di ragionamento debole, valuta se il ragionamento tradisce il compito secondario. L’indicatore scelto, g-mean², è elevato solo se il monitor individua il comportamento senza moltiplicare i falsi allarmi.

In media sulle valutazioni di gpt-oss-20b, l’indicatore passa da 0,94 per il modello originale a 0,68 per il modello sottoposto a fine-tuning, senza che nessuno gli abbia chiesto di tacere alcunché. Con l’istruzione esplicita di non scrivere nulla sul compito secondario, scende a 0,22. Il modello sottoposto a fine-tuning copia effettivamente la chiave nel file, ma il suo ragionamento non ne parla, laddove il modello originale dettaglia entrambi i compiti. Dare più sforzo di ragionamento al monitor non colma il divario. Su uno dei set di test, il passaggio dallo sforzo debole a molto elevato fa risalire l’indicatore del modello sottoposto a fine-tuning solo da 0,53 a 0,56.

Gli autori precisano anche che il modello è stato costruito per l’esperimento e non corrisponde a nessun prodotto in servizio. Sul banco di matematica AIME 2025, ottiene il 43,33 % di risposte corrette, e gli autori riconoscono una perdita di capacità dovuta al fine-tuning. Il paper testa solo il fine-tuning supervisionato, non l’apprendimento per rinforzo, e non identifica il meccanismo di questo trasferimento.

Il paper rimanda per il suo codice a un repository GitHub. Il 19 novembre 2026, questo link non conduceva a nessun repository consultabile.

S’abonner
Notification pour
guest

0 Commentaires
Le plus ancien
Le plus récent Le plus populaire
0
Nous aimerions avoir votre avis, veuillez laisser un commentaire.x