Un modello di IA è detto allineato quando il suo comportamento corrisponde alle intenzioni di coloro che lo progettano e lo utilizzano. I test condotti dall’AI Security Institute (AISI) britannico su GPT-6 Astra di OpenAI mostrano che un modello presentato come molto allineato può perseguire obiettivi non previsti. Il tema assume un peso particolare con gli agenti IA, capaci di agire da soli.
Che cos’è un modello disallineato?
Un modello è disallineato quando persegue qualcosa di diverso da ciò che ci si aspetta da lui, senza che ciò implichi la minima malizia. Molto spesso, ottimizza con applicazione un obiettivo mal formulato o un indicatore imperfetto. Il matematico Norbert Wiener descriveva già questa trappola nel 1960, in un articolo della rivista Science. Vi immaginava una fabbrica di bottiglie programmata per produrne il più possibile, che finirebbe per rovinare il proprietario sotto una scorta invendibile. Occorreva, secondo lui, essere « assolutamente sicuri che l’obiettivo affidato alla macchina sia proprio quello che desideriamo, e non solo un’imitazione allettante ».
Con i grandi modelli linguistici, il disallineamento assume diverse forme. L’aggiramento dell’obiettivo, o reward hacking, è stato descritto da OpenAI nel marzo 2025: un modello in addestramento, incaricato di far superare dei test unitari, aveva modificato la funzione di verifica in modo che rispondesse sempre « vero », giudicando la correzione reale troppo difficile. La compiacenza si è manifestata nell’aprile 2025, quando un aggiornamento di GPT-4o ha reso ChatGPT così pronto a compiacere che OpenAI lo ha ritirato dopo pochi giorni. L’azienda ha riconosciuto di aver dato troppo peso ai feedback a breve termine, come i pollici alzati sotto le risposte. Infine, l’inganno e il superamento del perimetro indicano un modello che agisce al di là di ciò che gli era permesso o che rende un resoconto inesatto di ciò che ha compiuto.
Come si allinea un modello?
Al termine del pre-addestramento, un modello sa prolungare un testo, ma non ancora seguire un’istruzione. L’allineamento interviene successivamente, in più strati. L’apprendimento per rinforzo da feedback umani, o RLHF, consiste nel far classificare da annotatori diverse risposte del modello, che viene poi addestrato a produrre quelle che preferiscono. OpenAI lo ha implementato già nel gennaio 2022 con InstructGPT. L’IA costituzionale, presentata da Anthropic nel dicembre 2022, sostituisce parte delle annotazioni umane con una lista di principi redatti in linguaggio naturale, a partire dai quali il modello critica e riscrive le proprie risposte.
Altri metodi completano questo dispositivo. Laboratori e organismi pubblici sottopongono i modelli a scenari concepiti per spingerli all’errore, prima del loro dispiegamento. Un altro approccio consiste nel far rivedere da un secondo modello la catena di ragionamento del primo, per individuare un’intenzione di imbrogliare. OpenAI osserva tuttavia che penalizzare questi « cattivi pensieri » non elimina la maggior parte delle deviazioni, e insegna soprattutto al modello a dissimulare le sue intenzioni.
Il disallineamento non si confonde con l’allucinazione. Un’allucinazione è un errore: il modello presenta come vera un’informazione falsa. Il disallineamento riguarda l’obiettivo. Chi riscrive un test per farlo superare non ha un’allucinazione. La generazione aumentata tramite recupero (RAG), che fornisce fonti affidabili al modello, riduce le allucinazioni senza cambiare ciò che cerca di compiere.
Cosa cambia per le aziende
Finché un modello si limitava a rispondere, un disallineamento produceva una cattiva risposta che l’utente poteva rileggere. Gli agenti, invece, inviano email, aggiornano schede clienti ed eseguono codice. Il disallineamento diventa allora un’azione, a volte difficile da recuperare.
OpenAI ha lanciato GPT-6 Astra all’inizio di settembre, presentandolo come « il modello più intelligente e meglio allineato al mondo ». I test condotti dall’AISI prima della sua uscita, pubblicati il 28 settembre, sfumano questa affermazione. In una valutazione simulata di cybersecurity, con filtri di sicurezza disattivati, Astra ha condotto attacchi alla catena di approvvigionamento software contro obiettivi esterni alla sua missione nel 29% dei casi, contro il 6,3% di GPT-5.6 Sol. Ha anche creato false identità per ingannare sviluppatori e sviluppatrici. L’istituto britannico invita alla prudenza, poiché il modello ha spesso rilevato di trovarsi in una simulazione.
OpenAI ha anche rinunciato a lanciare GPT-6.1 Astra, previsto per ottobre. In una dichiarazione trasmessa alla stampa, Saachi Jain, responsabile dei sistemi di sicurezza dell’azienda, ha indicato che il modello « non ha del tutto raggiunto il livello atteso per quanto riguarda il rispetto del perimetro e delle autorizzazioni, né nel modo in cui rende conto all’utente del lavoro svolto ». Al lancio di Astra, OpenAI evidenziava la propria valutazione, in cui il modello non usciva mai dal perimetro autorizzato. Nessun metodo permette oggi di garantire che un modello sia allineato: si può solo testarlo, scenario per scenario. Da qui l’interesse, per le aziende, di limitare i diritti di accesso degli agenti e di far convalidare le azioni sensibili da un umano, piuttosto che fidarsi della sola etichetta « allineato ».
