In un post di blog, un ricercatore di IA spiega perché l’ingegneria dei modelli dovrebbe accelerare nei prossimi anni, senza tuttavia trasformarne la natura. Secondo lui, i modelli diventeranno entro pochi anni ingegneri GPU sovrumani, capaci di rendere la sperimentazione notevolmente più facile. Stima inoltre che diversi ambiti, come l’efficienza dei calcoli e la qualità degli ambienti di apprendimento per rinforzo, offrano progressi a portata di mano.
- I modelli diventeranno ingegneri GPU sovrumani entro pochi anni, rendendo la sperimentazione più facile.
- I progressi non trasformeranno la natura dei modelli, che resteranno lontani da una superintelligenza generale.
- Il costo effettivo dell’intelligenza dovrebbe calare quasi esponenzialmente, grazie all’efficienza e alla progettazione congiunta.
- I dati per l’apprendimento per rinforzo restano di qualità bassa, ma questa debolezza è correggibile.
Una ricerca sempre più facile
L’autore nota che ricercatori del settore industriale gli dicono spesso che l’IA farà meglio di loro nel loro lavoro entro pochi anni. Attribuisce questa accelerazione alle capacità crescenti dei modelli in materia di infrastruttura e ingegneria, un punto su cui concorda. Aggiunge tuttavia che questi progressi non renderanno i modelli radicalmente diversi nella loro natura.
Secondo lui, Ilya aveva, sotto certi aspetti, annunciato troppo presto l’era della ricerca in IA. La ricerca oggi è molto più semplice grazie agli agent di programmazione, strumenti capaci di scrivere e modificare codice in modo autonomo. Il testo vede in questo l’inizio di un periodo in cui le buone idee potrebbero valere più della buona esecuzione software.
L’autore ricorda che l’equilibrio tra ricerca e ingegneria è già cambiato in passato. Prima dell’ascesa del deep learning, l’IA riguardava soprattutto la ricerca. Oggi, i migliori ricercatori sono giudicati in base alla loro capacità di implementare e scalare le loro idee in infrastrutture complesse. Evoca un’accelerazione « di qualche anno » in cui il collo di bottiglia sarà sempre meno l’ingegneria.
Efficienza e costo dell’intelligenza
Gran parte delle fasi di addestramento e inferenza, cioè l’utilizzo di un modello per rispondere, può essere misurata con precisione. Il testo cita il numero di token elaborati al secondo e per GPU, il numero di token per richiesta, i FLOP per token o ancora il costo per risposta. L’autore ritiene che questi indicatori siano altamente ottimizzabili e che agenti di IA potrebbero aiutare a migliorare l’intero processo entro pochi anni.
I guadagni di efficienza sono già stati importanti, secondo il testo, con ad esempio risparmi « dell’ordine del 10-30% » sul costo di servizio di un modello dopo il suo annuncio a un certo prezzo. L’autore si aspetta che il costo effettivo dell’intelligenza dei modelli diminuisca in modo quasi esponenziale, potenzialmente più velocemente delle tendenze recenti. Prevede anche che la progettazione congiunta degli acceleratori e dei modelli porterà ulteriori guadagni, su scale temporali più lunghe.
Il testo avanza inoltre che un paradosso di Jevons, secondo cui un guadagno di efficienza può far aumentare la domanda, dovrebbe giocare pienamente per i modelli agentici. L’autore cita l’agente Muse di Meta come un segnale precoce di questo movimento, e prevede più esperienze di questo tipo per diversi pubblici.
Dati e ambienti di apprendimento
Il testo evoca infine il mercato dei dati destinati all’apprendimento per rinforzo, questi ambienti in cui un modello impara per prove e ricompense. Diverse aziende di questo settore avrebbero superato la soglia dei « 100 milioni di dollari » o del « 1 miliardo di dollari » di fatturato, un numero più alto, secondo l’autore, di quanto immaginasse. Constata tuttavia che la qualità media di queste produzioni è « notevolmente bassa », e che molti ricercatori giudicano di scarsa qualità una parte di ciò che acquistano.
I grandi laboratori traggono comunque un ritorno sull’investimento chiaro da questi acquisti, rileva il testo. Per l’autore, la debolezza di molti ambienti è chiaramente correggibile.
