Qualsiasi intelligenza artificiale può sbagliare, e nessun confronto dirà quale sbaglierà sulla risposta che conta. Per le aziende, la scelta di un’IA si pone quindi uso per uso, in base a ciò che un errore comporterebbe. Un metodo basato su un’analisi d’impatto permette di decidere.
Prendiamo un questionario di sicurezza inviato da un grande cliente, con una lunga lista di domande e una scadenza ravvicinata. Un team lo compila con l’aiuto di un’IA, lo rilegge rapidamente, poi il responsabile della sicurezza firma. Alla domanda «i backup sono cifrati?», l’IA risponde sì, basandosi su una politica che nel frattempo è cambiata. Nessuno se ne accorge. Il cliente, invece, lo noterà alla prima verifica, e la questione non sarà più se l’IA ha sbagliato, ma chi ha firmato, e sulla base di cosa.
Un errore di un’IA è recuperabile finché rimane una bozza. Diventa costoso non appena una persona lo ha impegnato a nome dell’azienda. La stessa IA, con lo stesso tasso d’errore, può essere senza conseguenze in una nota interna e pericolosa in una risposta indirizzata a un cliente. Ecco perché la scelta dello strumento deve essere fatta per ogni singolo utilizzo.
Quattro livelli, una sola domanda
Il metodo consiste nel chiedersi, per ogni utilizzo, cosa viene impegnato se la risposta è falsa e nessuno se ne accorge. Sono possibili quattro risposte. Niente, nel caso di una nota interna, di una riformulazione o di una bozza comunque riletta. Lavoro, quando bisogna rifare un documento e perdere tempo, senza impegni presi. Un impegno, con una risposta contrattuale, una dichiarazione a un cliente o un’offerta. Infine un’esposizione, con una reportistica regolamentare, un’attestazione di conformità o un documento prodotto sotto il controllo di un’autorità.
Il comitato di direzione non deve quantificare il costo di ogni errore, perché nessuna fonte lo fornisce in anticipo. Deve decidere, per ogni livello, cosa l’azienda accetta: firmare senza verifica, richiedere di vedere la fonte, o rifiutare che una macchina produca il contenuto. Si tratta di una decisione sulla tolleranza al rischio, presa uso per uso e non una volta per tutte per «l’IA».
A ogni livello, il suo strumento
Per i primi due livelli, un’IA generativa di consumo può essere adatta, nei limiti di ciò che le si può affidare senza rischi. Per i due successivi, la rapidità non basta più e si impongono tre requisiti: che ogni affermazione citi il documento, la pagina e la versione da cui è tratta; che il sistema sappia indicare quando non può rispondere, perché una risposta falsa si paga davanti a un verificatore; e che una persona nominata convalidi il contenuto, con una firma tracciata.
L’autore aggiunge un quarto requisito: la verifica non deve essere affidata al modello che ha redatto. Alcuni ricercatori lo hanno dimostrato alla conferenza ICLR 2024, e uno studio più recente va nella stessa direzione: la verifica guagna in efficacia quando chi controlla assomiglia meno a chi ha risposto. Il controllo può quindi essere assicurato da un’altra IA, specializzata sul business e sui documenti dell’azienda, che verifichi ogni affermazione rispetto alla sua fonte e segnali ciò che non può stabilire. Un disaccordo tra le due IA non fornisce la risposta corretta, ma indica il punto in cui un essere umano deve guardare. Questo controllo viene eseguito nello spazio protetto dell’azienda, e non presso un terzo.
Ciò che decide il comitato
L’ordine della procedura conta. Bisogna prima inventariare gli utilizzi e determinare, per ciascuno, cosa comporterebbe un errore silenzioso. Segue la tolleranza al rischio, livello per livello. Lo strumento interviene solo alla fine, dimensionato su questa tolleranza e non sulla dimostrazione del fornitore.
Torniamo al questionario. Con questo metodo, la risposta sui backup avrebbe menzionato il riferimento della politica, la sua versione e la sua data. Una seconda IA, o il revisore attento a quella data, avrebbe constatato che la versione citata non era più l’ultima, e il responsabile della sicurezza avrebbe firmato in piena consapevolezza. La macchina avrebbe comunque sbagliato, ma qualcuno lo avrebbe saputo prima del cliente.
