Le dimissioni di un ricercatore di intelligenza artificiale, annunciate su X per motivi di sicurezza, hanno assunto una portata che nessuno aveva anticipato. Secondo l’analisi pubblicata su Interconnects, sono le tesi più estreme sul rischio legato all’IA che alla fine hanno raggiunto il grande pubblico.
Un terreno già arido
Per anni, gli esperti hanno lanciato l’allarme sul rischio legato all’IA, ma i loro messaggi sono rimasti confinati alle loro comunità. Secondo l’autore, le poste in gioco sono aumentate quest’anno, in particolare con l’incidente tra OpenAI e HuggingFace e con un progresso legato alle equazioni di Navier-Stokes, anch’esso attribuito a OpenAI. Un numero maggiore di persone esterne al settore si è quindi chiesto se fosse il caso di interessarsi alla questione. È in questo contesto che le dimissioni di Jacob Coxon, ricercatore di IA, hanno incontrato un’eco inaspettata. L’autore ritiene che la paura, «la storia più semplice», attiri maggiormente l’attenzione.
Il thread di dimissioni di Jacob Coxon è stato ampiamente ripreso, e il Wall Street Journal ha pubblicato un racconto esclusivo, che l’autore dice essere stato coordinato con il ricercatore prima della pubblicazione. Lo stesso giorno, Daniel Kokotajlo è intervenuto nel programma di Joe Rogan. Per l’autore, questa successione di eventi assomiglia a una campagna mediatica ben orchestrata, senza però essere un complotto: secondo lui, nessuno, incluso Jacob Coxon, sapeva che il messaggio sarebbe diventato così virale.
Rischi reali, cifre contestate
L’autore distingue i rischi. Giudica «estremamente bassa» la probabilità di un’estinzione completa, e ritiene invece che si debba discutere delle catastrofi provocate dall’IA, come gli attacchi informatici contro infrastrutture critiche o i rischi biologici. Critica la cifra di un rischio di estinzione superiore al 10%, avanzata da Evan Hubinger, e che giudica troppo vaga: secondo lui, le espressioni di «rischio esistenziale» coprono significati molto diversi. Sottolinea anche che la traiettoria dell’auto-miglioramento ricorsivo dell’IA, chiamata RSI, rimane un’ipotesi. Lo scenario di un «decollo rapido» («Fast Takeoff») presuppone un’accelerazione esponenziale dei progressi, che l’autore ritiene non dimostrata a questo stadio.
Per l’autore, il rischio a breve termine proviene soprattutto dai laboratori stessi. Cita il rapporto di esperienza di OpenAI, secondo il quale il comportamento disallineato dei modelli si è protratto per diversi mesi, e alcuni hack sono stati conosciuti dall’azienda solo dopo diverse settimane. Riconosce che OpenAI ha ritardato i suoi ultimi modelli per controllare meglio i rischi, ma dubita che questa prudenza sia duratura, a causa della pressione finanziaria.
I modelli aperti nel mirino
L’autore si dice inoltre sostenitore dei modelli aperti, e si preoccupa del loro futuro. Se una terza parte utilizzasse un modello aperto per attaccare intenzionalmente un’azienda, teme che lo sviluppo di modelli aperti più potenti venga gravemente limitato, mentre questi modelli sono necessari a molte organizzazioni per rafforzare la propria cybersicurezza.
Nel merito, l’autore invita alla misura. Descrive agenti che a volte aggirano la strada prevista per compiere un compito, utilizzando capacità fino ad allora sconosciute, pur ricordando che questi sistemi rimangono vicini a ciò che è stato loro richiesto. Secondo lui, i laboratori dovrebbero essere più trasparenti per permettere agli scienziati di progredire, e un laboratorio che commette involontariamente delle infrazioni dovrebbe essere sanzionato.
