Come la « teoria dei giochi inversa » potrebbe mantenere gli agenti IA sotto controllo

Come la « teoria dei giochi inversa » potrebbe mantenere gli agenti IA sotto controllo

Per allineare i sistemi di intelligenza artificiale alle intenzioni dei loro creatori, un approccio consiste nell’ispirarsi ai meccanismi che mantengono gli individui all’interno delle regole della società. È la prospettiva sostenuta da Elad Hazan, professore di informatica a Princeton, che propone di basarsi sulle norme sociali, il sistema giudiziario o gli incentivi finanziari del capitalismo di mercato.

  • Elad Hazan propone di ispirare l’allineamento delle IA alle regole della società.
  • Gli agenti alternano il ruolo di risolutori e auditor, premiati o sanzionati in base ai risultati.
  • Il rischio di collusione si riduce pagando gli auditor abbastanza da rendere la scoperta non conveniente.
  • Il metodo presuppone agenti razionali, ma i modelli linguistici potrebbero reagire agli incentivi in modo imprevedibile.

«Vogliamo allineare un’IA superintelligente», afferma. «Perché non parlare prima degli esseri umani? Come si allineano gli umani?»

Regole ispirate alla società

Il meccanismo proposto da Elad Hazan fa alternare i modelli in due ruoli: i « risolutori », che affrontano i problemi, e gli « auditor », che verificano il lavoro degli altri. «Un agente interpreta il ruolo della polizia; l’altro quello del cittadino», riassume.

Durante l’addestramento, i modelli vengono ricompensati in base ai risultati. I risolutori colti a imbrogliare vengono sanzionati, ma anche gli auditor che non riescono a individuare i truffatori subiscono conseguenze. In caso di disaccordo tra auditor e risolutori, la questione può essere portata davanti a un « processo », dove un esperto umano potrebbe decidere.

Elad Hazan riconosce un rischio: che gli agenti si mettano d’accordo tra loro, come possono fare gli auditor con le aziende che dovrebbero controllare, o poliziotti corrotti con i criminali. Secondo lui, questo problema può essere risolto retribuendo sufficientemente gli auditor affinché farsi scoprire non valga il rischio, cosa molto più semplice nell’addestramento di un’IA che nel mondo reale, dove i budget per gli stipendi della polizia sono limitati. Propone anche di controllare gli auditor stessi, con tecniche paragonabili a quelle dei clienti misteriosi.

Si basa sui lavori dell’economista premio Nobel Gary Becker, che negli anni ’60 ha introdotto il concetto di « delinquente razionale ». Secondo Elad Hazan, i criminali non infrangono la legge perché sono fondamentalmente cattivi, ma perché è la scelta più razionale alla luce degli incentivi proposti. Un crimine ha senso, secondo questo ragionamento, solo se il guadagno supera la potenziale pena.

Per Elad Hazan, l’allineamento non deve essere considerato una proprietà di un modello, ma la descrizione del suo comportamento in un dato momento. «Tu sei, in un certo senso, una persona gentile», afferma. «Sei allineato? Non lo so. Probabilmente lo sei la maggior parte del tempo, ma potrebbe esserci una situazione in cui non lo sarai.»

I limiti dell’approccio

Il metodo si basa sull’ipotesi che gli agenti IA si comportino in modo razionale. Tuttavia, la teoria dei meccanismi, ramo dell’economia che progetta regole di incentivazione, ha un bilancio contrastante con gli umani, che non si comportano sempre come previsto dai modelli economici.

L’articolo rileva un paradosso: gli economisti hanno trascorso decenni cercando di ridurre il comportamento umano alla matematica, mentre i grandi modelli linguistici sono sistemi matematici che funzionano a partire dal linguaggio umano e potrebbero essere altrettanto difficili da decifrare. Questi modelli presentano comportamenti che sembrano più umani che meccanici, e possono essere influenzati da fattori sottili, difficili da comprendere e spiegare. Helen Qu, ricercatrice al Flatiron Institute, un’organizzazione no-profit dedicata all’avanzamento della scoperta scientifica attraverso metodi computazionali, si chiede: «È addirittura ragionevole supporre che reagiranno agli incentivi?»

S’abonner
Notification pour
guest

0 Commentaires
Le plus ancien
Le plus récent Le plus populaire
0
Nous aimerions avoir votre avis, veuillez laisser un commentaire.x