I laboratori all’avanguardia nel campo dell’IA, in primis OpenAI e Anthropic, impiegano migliaia di agenti simultaneamente per migliorare i propri processi e la propria produzione. In un’analisi pubblicata sulla newsletter Interconnects, l’autore si interroga su come questo ritmo modifichi le aspettative dei dipendenti e sull’idea che i rischi legati all’IA potrebbero portare all’estinzione dell’umanità, che giudica «molto religiosa».
Secondo lui, la cultura altamente competitiva della scena di San Francisco amplifica qualsiasi preoccupazione legata all’IA. Ricorda i numerosi dibattiti sulla sicurezza dell’IA e sulla sostenibilità dell’IA open source, che hanno animato gli anni 2023 e 2024. I principali rischi allora annunciati non si sono materializzati nei tempi previsti. Cita anche incidenti come «OpenAI-HuggingFace» e ritiene che l’aumento dell’ansia, soprattutto da quando gli agenti hanno guadagnato in efficienza all’inizio del 2026, potrebbe ancora intensificarsi.
Una comunità orientata verso un futuro prossimo
L’autore riprende il riassunto di Richard Ngo, che osserva come gran parte della comunità della sicurezza dell’IA si orienti verso scenari di esplosione dell’intelligenza nei prossimi anni. Secondo Ngo, queste aspettative saranno «corrette nella direzione, ma sbagliate sui fatti». Scrive in particolare: «non avremo una superintelligenza nei prossimi 8 anni, ma le cose avanzeranno così velocemente che darà l’impressione che coloro che sostenevano scadenze brevi avessero ragione».
L’autore avvicina questa posizione alla propria ipotesi, che chiama «lossy self-improvement», ovvero un’automiglioramento «con perdite», in opposizione all’automiglioramento ricorsivo dell’IA (RSI), in cui un’IA contribuisce a migliorare il proprio progetto. Ritiene che la ricerca automatizzabile rimanga troppo limitata per accelerare fortemente i progressi, che i rendimenti decrescenti legati all’aggiunta di agenti in parallelo siano reali e che i vincoli di risorse e i fattori politici pesino fortemente.
Calendari molto diversi secondo gli esperti
L’autore si basa su podcast di Dwarkesh con Noam Brown, poi con John Schulman, Beren Millidge e Charlie O’Neill. In questi scambi, gli interlocutori forniscono tempistiche per diverse capacità. Per un «drop-in remote worker» in grado di svolgere un lavoro d’ufficio generalista nell’arco di un mese, John Schulmen parla di circa un anno per una versione «decente», Charlie O’Neill di circa un anno con accesso programmatico agli strumenti, e due anni se si deve passare attraverso un browser, mentre Beren Millidge parla di circa tre anni per una generalità completa.
Per una produttività moltiplicata per dieci dei ricercatori in IA, John Schulman avanza circa due anni, Charlie O’Neill tra i cinque e i dieci anni, e Beren Millidge ritiene plausibile la stima di due anni senza proporne un’altra. Per un’IA che superi i migliori esperti umani nell’insieme dei lavori informatici, inclusi i progetti pluriennali («ASI»), John Schulman parla di tre o quattro anni, Beren Millidge di circa cinque anni per i domini mirati dai laboratori, e Charlie O’Neill di cinque-dieci anni.
Guadagni soprattutto nell’efficienza
L’autore sottolinea che i progressi non superano soglie nette, poiché l’intelligenza dei modelli rimane disomogenea a seconda dei compiti. Ritiene che il ciclo sperimentale potrebbe diventare dieci volte più veloce, ma non la formulazione di ipotesi. Secondo lui, l’automiglioramento dovrebbe soprattutto aiutare a rendere i modelli meno costosi e a migliorare i sistemi multi-agente, poiché le metriche di servizio degli LLM sono misurabili.
Rimane comunque prudente sui costi, poiché le leggi di scala mostrano che servono risorse esponenziali per ottenere guadagni lineari di intelligenza. Cita John Schulman sul post-addestramento, di cui giudica il compito difficile da automatizzare: «è molto facile rovinare il post-addestramento in un modo che non emerge dai benchmark». Riporta infine un passaggio della Claude Fable 5.1 & Mythos 5.1 System Card: «Riteniamo che l’uso interno di modelli di IA recenti sia stato un fattore chiave per mantenere l’attuale ritmo di progresso, ma non vediamo ancora chiari segni di un’accelerazione spettacolare oltre questo ritmo». Per il momento, l’autore considera che la propria ipotesi rimanga il suo riferimento.
