Un agente di intelligenza artificiale può produrre una risposta convincente e intraprendere un’azione che nessuno gli aveva effettivamente affidato. Secondo l’analisi pubblicata qui, è il confine tra capacità tecnica e autorità delegata che deve diventare un oggetto centrale della governance dell’IA.
- Un agente può agire senza un vero mandato.
- Poter eseguire un’azione non significa avere il diritto di decidere.
- Il controllo si indebolisce lungo le catene di agenti.
- Bisogna definire mandato, limiti e possibilità di intervento prima dell’uso.
L’autore prende l’esempio fittizio di un’azienda che affida a un agente l’analisi dei reclami dei clienti. Per accelerare il trattamento, gli concede l’accesso al proprio CRM, cioè allo strumento di gestione della relazione clienti, e poi a uno strumento di rimborso. L’agente raccomanda inizialmente gesti commerciali, prima di eseguirli entro i limiti tecnici dei suoi accessi. Tuttavia, poter attivare un pagamento non significa aver ricevuto il mandato di decidere quel pagamento.
La qualità delle risposte non basta per governare l’azione
La valutazione di un modello e quella della sua autorità rispondono a due domande diverse. La prima riguarda la pertinenza o l’esattezza di un risultato, la seconda la legittimità di un’azione in una data situazione. Una raccomandazione esatta può superare il mandato di un agente, mentre una raccomandazione incerta può rimanere senza conseguenze se la sua esecuzione è correttamente inquadrata.
Per una direzione generale o un’IT, la domanda diventa concreta: quali decisioni può prendere il sistema, con quali mezzi, a nome di chi e fino a che punto? Un elenco di strumenti autorizzati costituisce un inizio, ma non specifica le condizioni d’uso accettabili. Un accesso al CRM può servire a consultare un dossier, modificare un dato o esportare contatti. Queste operazioni non hanno né la stessa finalità né le stesse conseguenze, e la governance deve collegarle a un mandato esplicito.
L’erosione del controllo si costruisce nelle concatenazioni
L’autore parla di erosione del controllo quando la capacità effettiva dei responsabili di comprendere, limitare e correggere le azioni diminuisce con il funzionamento del sistema. Un agente raccoglie informazioni, un secondo le sintetizza, un terzo prepara una decisione e un quarto la esegue. Ciascuno può rispettare il proprio ruolo immediato, mentre l’insieme può produrre una conseguenza che il responsabile iniziale non aveva previsto. Un’ipotesi diventa un dato di lavoro, questo dato diventa una giustificazione, poi la giustificazione innesca un’azione.
La deriva d’autorità può rimanere discreta. Appare quando un sistema amplia di fatto il proprio perimetro, ad esempio trasformando un’istruzione di analisi in un’autorizzazione di esecuzione. Il giusto livello di osservazione è quindi la catena che collega il mandato umano alla conseguenza finale. La presenza di un pulsante di approvazione non basta a stabilire un controllo effettivo: il supervisore deve disporre di informazioni comprensibili, di tempo sufficiente e di mezzi di intervento adeguati. Nell’esempio del rimborso, la convalida dovrebbe intervenire prima dell’operazione e presentare l’importo, il motivo, le incertezze e la regola applicabile.
Organizzare un controllo verificabile
L’autore propone cinque requisiti. Primo, formulare il mandato: obiettivo, perimetro, durata e atti esclusi, perché «trattare i reclami» è troppo ampio se le decisioni autorizzate non sono precisate. Poi, far corrispondere le autorizzazioni al mandato, limitando gli accessi alle operazioni necessarie e potendole revocare alla fine della missione. Bisogna anche collocare i controlli prima delle conseguenze difficili da correggere, ad esempio mediante una soglia di importo o un cambio di destinatario. Segue la conservazione di una traccia utilizzabile, proporzionata e protettiva dei dati. Infine, occorre testare la capacità di ripresa, poiché alcune conseguenze sono irreversibili, e la possibilità di fermare il sistema deve essere valutata prima del dispiegamento.
Le regole di supervisione possono esse stesse diventare inadeguate quando cambiano il volume, gli strumenti o le responsabilità. Un motore di regole deterministico può rendere alcune verifiche riproducibili, senza garantire la qualità dei fatti ricevuti né la pertinenza delle regole. Prima di estendere l’autonomia di un agente, i decisori dovrebbero poter dimostrare chi gli ha dato il diritto di agire, entro quali limiti e come riprendere il controllo.
