Epoch AI : JS Denain discute del RSI, del divario tra Stati Uniti e Cina e della « jaggedness »

JS Denain, ricercatore senior presso Epoch AI e responsabile del suo team Insights, ritiene che i dati pubblici attuali non siano sufficienti per stabilire un’accelerazione imminente dei progressi dell’IA. In un’intervista con Nathan Lambert, torna sulle incertezze che circondano questa traiettoria e sul divario tra i modelli cinesi e quelli americani.

Un’accelerazione ancora incerta

Alcuni post pubblicati da OpenAI e Anthropic esaminano l’effetto dell’IA sui propri progressi, una dinamica chiamata auto-miglioramento ricorsivo (RSI). Per JS Denain, il fatto più notevole del post di OpenAI è l’aumento delle spese dei ricercatori per Codex, che progrediscono di 2X al mese secondo la curva presentata. Egli nota tuttavia che questa misura forse riguarda solo Codex, e non l’uso di ChatGPT, e che non costituisce una prova solida di un’esplosione software nei prossimi sei mesi.

Interrogato sul legame tra RSI e rischio esistenziale, si dice molto incerto, ma preoccupato. Cita la stima di Evan Hubinger, secondo cui il rischio di estinzione raggiungerebbe almeno il 10%, in un periodo non specificato, e giudica questa stima ragionevole su un decennio. Non dispone, a suo dire, di informazioni interne che giustificherebbero una preoccupazione molto più forte.

Un ritardo da quattro a otto mesi

JS Denain colloca il divario tra i migliori laboratori cinesi e OpenAI o Anthropic tra i quattro e gli otto mesi, confrontando le date di uscita pubblica. Ritiene che un divario di due mesi rientrerebbe più in un sovra-adattamento ai test. Nathan Lambert, invece, ritiene che modelli come Kimi K3 e GLM 5.2 sarebbero più vicini, a due, tre o quattro mesi.

La distillazione, che consiste nell’addestrare un modello a partire dalle risposte di un altro, potrebbe giocare un ruolo più importante del previsto. Denain stima che, se fosse interrotta, il divario passerebbe da circa sei mesi a otto o nove mesi in un orizzonte di sei-dodici mesi. Nathan Lambert rimane più cauto: secondo lui, senza distillazione, il divario sarebbe piuttosto vicino, e la differenza di calcolo peserebbe di più.

Un’analisi delle offerte di lavoro, condotta con Cheryl Wu e pubblicata a giugno, suggerisce inoltre che almeno alcuni laboratori cinesi stiano costruendo i propri data center piuttosto che affittare capacità di calcolo.

Sicurezza e dati

Nathan Lambert evoca un incidente secondo cui tre persone avrebbero utilizzato modelli Claude pubblici per accedere a sistemi interni di OpenAI. JS Denain dice di esserne stato brevemente a conoscenza, senza sapere se il problema riguardi le protezioni dei modelli o la sicurezza delle aziende. Ritiene che i modelli aperti siano meno protetti, ma anche meno potenti.

Infine, Denain spiega che Epoch è stata creata perché né l’industria né il mondo accademico proponevano una risorsa pubblica e monitorata sulle grandi tendenze dell’IA. Rileva che i dati di addestramento rimangono molto più difficili da tracciare rispetto al calcolo, mentre le offerte pubbliche iniziali, moltiplicandosi, potrebbero migliorare le informazioni disponibili.