Vietare i modelli a pesi aperti per limitare i rischi informatici potrebbe, secondo l’autore di un articolo pubblicato su Substack, andare contro la competitività americana e aumentare i rischi a lungo termine. Egli ritiene che il dibattito sia bloccato per non aver considerato i compromessi e le realtà difficili.
Tre posizioni nel dibattito
L’autore distingue tre correnti. La prima ritiene che i modelli a pesi aperti, cioè i cui parametri sono pubblicati e possono essere scaricati, rappresentino un rischio inaccettabile per il funzionamento della società. Raggruppa la dirigenza di alcuni laboratori all’avanguardia nell’IA e la comunità della sicurezza nazionale americana. La seconda, in cui si colloca lui, sostiene che questi modelli sono necessari per la difesa e che vietarne l’uso renderebbe il mondo meno sicuro. Riunisce voci occidentali moderate, tra cui quella di Hugging Face dopo l’incidente che ha coinvolto OpenAI, e Joshua Saxe. La terza comprende le aziende cinesi, che continuano a pubblicare modelli a pesi aperti con elevate capacità informatiche, sulla base della propria valutazione dei rischi.
Il testo critica il rapporto di Anthropic sui rischi del modello GLM-5.3, utilizzabile come strumento di attacco informatico offensivo, per non aver affrontato le questioni trasversali. I lavori tecnici sono giudicati ragionevoli, ma l’autore osserva che nessuna analisi riguarda gli effetti di un divieto dei modelli aperti né le ragioni per cui le aziende cinesi ritengono sicuro pubblicare tali modelli.
Dati, compromessi e una governance diversa
Per l’autore, gli attacchi documentati finora sono soprattutto legati a modelli chiusi, accessibili tramite interfaccia di programmazione (API), e cita in particolare numerosi attacchi attribuiti a modelli di OpenAI. Avanza diverse spiegazioni possibili, senza prendere posizione definitiva: sia i modelli aperti che le API chiuse potrebbero essere entrambi facili da dirottare, oppure gli attori malevoli disposti a colpire infrastrutture critiche potrebbero essere pochi. Sottolinea anche che, in alcuni ambiti sensibili, i modelli aperti sono gli unici utilizzabili su reti isolate da internet.
Secondo lui, la Cina affronta la sicurezza dell’IA in modo proprio alla sua cultura e alle sue strutture di potere. Dalla sua comprensione, le aziende cinesi devono dichiarare ogni importante rilascio di modello al governo, comprese le valutazioni, ma non è chiaro se questo meccanismo si estenda ai rischi informatici o biologici. Ritiene inoltre che valutazioni di sicurezza complete su un modello come Kimi K3 potrebbero costare decine di milioni di dollari in calcolo.
Al momento del suo annuncio, Claude Mythos è stato presentato come una nuova classe di arma informatica. L’autore ritiene che questa presentazione fosse errata, e che una diffusione accidentale di questo modello in pesi aperti avrebbe soprattutto accelerato gli incidenti piuttosto che creato una discontinuità. Secondo lui, GLM-5.3 supera ora la soglia di capacità menzionata, e, a più di un mese dalla sua pubblicazione in pesi aperti, poche prove pubbliche indicano che la situazione sia cambiata molto.
