Anthropic utilizza l’IA per accelerare lo sviluppo dei propri modelli, secondo un nuovo rapporto dell’organizzazione di ricerca sulla sicurezza dell’IA METR. Secondo il documento, i progressi dei modelli dell’azienda sarebbero circa il doppio più rapidi rispetto a un anno fa, senza segni evidenti di rallentamento. Il rapporto solleva anche una domanda: cosa sa realmente il pubblico di questo ritmo e dei rischi che comporta?
- Anthropic accelera i propri progressi grazie all’IA, secondo il rapporto di METR.
- I progressi sono circa il doppio rispetto a un anno fa, e i dipendenti dichiarano forti guadagni di produttività.
- Anthropic ha censurato gran parte della versione pubblica, rendendo più difficile verificare il lavoro di METR.
- Ricercatori e politici chiedono maggiore trasparenza, mentre un deputato propone di vietare il RSI.
Il rapporto è il risultato di un’indagine di undici settimane condotta all’interno dell’azienda, nell’ambito di una valutazione delle sue attività di ricerca e sviluppo in IA. Secondo METR, i punteggi nei benchmark suggeriscono che Anthropic ha realizzato «circa due anni di progressi storici nell’ultimo anno». I ricercatori si dicono «fiduciosi» che questa accelerazione non sia dovuta semplicemente all’aumento della potenza di calcolo utilizzata per addestrare i modelli, fattore a lungo considerato il principale motore dei progressi.
L’IA accelera la ricerca di Anthropic
Secondo METR, la maggior parte dell’accelerazione osservata a ottobre «è dovuta all’IA», e il suo contributo aumenterebbe nel tempo. Questa constatazione si basa su sondaggi informali condotti su Slack e su interviste con i dipendenti, che riportano significativi guadagni di produttività. In media, i dipendenti che utilizzano il modello interno più performante dell’azienda dichiarano di essere circa 12 volte più produttivi rispetto a quando non sono assistiti dall’IA, circa il doppio di quanto indicavano pochi mesi prima con Mythos 5.
Per ora, questa accelerazione proviene soprattutto da un’IA che assiste i ricercatori umani, e non da un’IA che lavora da sola. METR avverte tuttavia che «alcuni segni indicano che i contributi completamente autonomi avranno presto un ruolo più importante». I ricercatori non hanno rilevato alcun segno chiaro di rendimenti decrescenti né di colli di bottiglia che potrebbero impedire un’ulteriore accelerazione.
Tre nuovi modelli di Anthropic hanno inoltre completato l’addestramento negli ultimi sei mesi senza essere stati pubblicati. Sono designati con i nomi in codice Model 2, Model 3 e Model 4, il cui addestramento è terminato rispettivamente a luglio, tra agosto e settembre, e tra settembre e ottobre. METR menziona anche un modello non pubblicato datato 2022, chiamato Unreleased 2022. I ricercatori precisano che «questi sono i nomi in codice che ci sono stati comunicati; sappiamo che hanno nomi interni diversi».
Informazioni censurate
Anthropic ha dato a METR accesso a informazioni non pubbliche, tra cui ricerche confidenziali, dati sulle prestazioni dei modelli e interviste con i dipendenti. Il rapporto precisa tuttavia che l’accesso non era illimitato. Anthropic aveva il diritto di censurare la versione finale, e METR afferma di aver sottoposto un rapporto di circa 100 pagine, la cui versione pubblica è stata privata della «maggior parte delle prove» che l’organizzazione riteneva più informative.
Anthropic giustifica queste soppressioni con il rischio di avvantaggiare i propri concorrenti. METR ritiene da parte sua che «la maggior parte delle informazioni censurate fosse di altissimo livello», senza pronunciarsi sul carattere commerciale di queste scelte. In un lungo messaggio pubblicato su X, il cofondatore di Anthropic Sam McCandlish riconosce: «Abbiamo censurato molto, e accetto che questo renda più difficile verificare il lavoro di METR». Afferma che l’azienda ha preso «la decisione giusta» e annuncia la pubblicazione imminente di un proprio rapporto sulla velocità dei progressi dell’IA.
Una pressione crescente sulla trasparenza
Il rapporto ha suscitato aspre critiche tra i ricercatori sulla sicurezza dell’IA. Daniel Kokotajlo, ex ricercatore di OpenAI che dirige l’AI Futures Project, accusa Anthropic di «scommettere in modo sconsiderato con le nostre vite». Brianna Rosen, direttrice della ricerca sulla sicurezza dei modelli avanzati all’Institute for AI Policy and Strategy, ritiene da parte sua che «il rapporto non fosse sufficientemente trasparente sulle prove». Anthropic ha rifiutato di rispondere alle domande di The Verge e ha rinviato al messaggio di Sam McCandlish.
Il deputato di New York Alex Bores ha chiesto al Congresso di «vietare il RSI, quest’anno se possibile». Il RSI, o auto-miglioramento ricorsivo, indica sistemi di IA capaci di sviluppare senza intervento umano sistemi successori sempre più potenti. Marius Hobbhahn, fondatore e CEO di Apollo Research, ritiene che i risultati siano «nel complesso in linea» con quanto il settore si aspettava, «forse un po’ più rapidi», e avverte: «Preparatevi alla follia. Va molto veloce».
