In een blogtekst legt een AI-onderzoeker uit waarom modelengineering de komende jaren zou moeten versnellen, zonder echter de aard ervan te veranderen. Volgens hem zullen modellen binnen enkele jaren supermenselijke GPU-ingenieurs worden, die experimenteren aanzienlijk gemakkelijker kunnen maken. Hij schat ook in dat verschillende werkterreinen, zoals de efficiëntie van berekeningen en de kwaliteit van reinforcement learning-omgevingen, vooruitgang binnen handbereik bieden.
Onderzoek wordt steeds gemakkelijker
De auteur merkt op dat onderzoekers uit de industrie hem vaak zeggen dat The AI / news binnen enkele jaren beter zal zijn dan zij in hun vak. Hij schrijft deze versnelling toe aan de groeiende capaciteiten van modellen op het gebied van infrastructuur en engineering, een punt waar hij het mee eens is. Hij voegt er echter aan toe dat deze vooruitgang de modellen niet radicaal anders zal maken in hun aard.
Volgens hem had Ilya in bepaalde opzichten het tijdperk van AI-onderzoek te vroeg aangekondigd. Onderzoek is vandaag veel eenvoudiger dankzij programmeringsagenten, tools die zelfstandig code kunnen schrijven en wijzigen. De tekst ziet hier het begin van een periode waarin goede ideeën meer waard zouden kunnen zijn dan goede software-uitvoering.
De auteur herinnert eraan dat de balans tussen onderzoek en engineering in het verleden al is omgeslagen. Voor de opkomst van het deep learning was The AI / news vooral een zaak van onderzoek. Vandaag worden de beste onderzoekers beoordeeld op hun vermogen om hun ideeën te implementeren en op te schalen in complexe infrastructuur. Hij spreekt over een versnelling « van enkele jaren » waarin de knelpunt steeds minder de engineering zal zijn.
Efficiëntie en kosten van intelligentie
Een groot deel van de trainings- en inferentiestappen, dat wil zeggen het gebruik van een model om te antwoorden, kan nauwkeurig worden gemeten. De tekst noemt het aantal tokens verwerkt per seconde en per GPU, het aantal tokens per verzoek, de FLOPs per token of de kosten per antwoord. De auteur schat dat deze indicatoren zeer optimaliseerbaar zijn en dat AI-agenten kunnen helpen om het hele proces binnen enkele jaren te verbeteren.
De efficiëntiewinsten zijn al aanzienlijk geweest, volgens de tekst, met bijvoorbeeld besparingen « in de orde van 10 tot 30% » op de servicekosten van een model na de aankondiging tegen een bepaalde prijs. De auteur verwacht dat de effectieve kosten van de intelligentie van modellen bijna exponentieel zullen dalen, mogelijk sneller dan de recente trends. Hij voorziet ook dat gezamenlijk ontwerp van versnellers en modellen extra winst zal opleveren, op langere tijdschalen.
De tekst stelt verder dat een Jevons-paradox, waarbij een efficiëntiewinst de vraag kan doen toenemen, volledig zal spelen voor agentische modellen. De auteur noemt de agent Muse van Meta als een vroeg teken van deze beweging, en voorziet meer experimenten van dit type voor verschillende doelgroepen.
Gegevens en leeromgevingen
De tekst gaat ten slotte in op de markt voor gegevens bestemd voor reinforcement learning, die omgevingen waarin een model leert door trial-and-error en beloningen. Verschillende bedrijven in deze sector zouden de drempel van « 100 miljoen dollar » of « 1 miljard dollar » omzet hebben overschreden, een hoger aantal, volgens de auteur, dan hij zich had voorgesteld. Hij constateert echter dat de gemiddelde kwaliteit van deze producties « opmerkelijk laag » is, en dat veel onderzoekers een deel van wat ze kopen als slechte kwaliteit beschouwen.
De grote laboratoria halen desalniettemin een duidelijk rendement uit deze aankopen, merkt de tekst op. Voor de auteur is de zwakte van veel omgevingen duidelijk corrigeerbaar.
