Vooraanstaande AI-laboratoria, met OpenAI en Anthropic voorop, laten duizenden agents tegelijkertijd werken om hun processen en output te verbeteren. In een analyse gepubliceerd in de nieuwsbrief Interconnects vraagt de auteur zich af hoe dit tempo de verwachtingen van werknemers verandert en over het idee dat AI-gerelateerde risico’s tot uitsterven van de mensheid zouden kunnen leiden, wat hij ‘zeer religieus’ vindt.
- De auteur gelooft niet in echte recursieve zelfverbetering van AI.
- Hij verwacht vooral efficiëntiewinst, zoals goedkopere modellen en betere multi-agent systemen.
- Automatiseerbaar onderzoek blijft te beperkt om de vooruitgang sterk te versnellen.
- Experts verschillen sterk van mening over tijdlijnen, en de auteur houdt vast aan zijn hypothese van ‘lossy self-improvement’.
Volgens hem versterkt de zeer competitieve cultuur van het San Francisco-toneel elke AI-gerelateerde bezorgdheid. Hij herinnert aan de vele debatten over AI-veiligheid en over de levensvatbaarheid van open-source AI, die de jaren 2023 en 2024 hebben gevuld. De belangrijkste risico’s die toen werden aangekondigd, zijn niet binnen de voorziene termijnen opgetreden. Hij noemt ook incidenten zoals ‘OpenAI-HuggingFace’ en schat dat de stijgende angst, vooral sinds agents begin 2026 efficiënter werden, nog verder kan toenemen.
Een gemeenschap gericht op een nabije toekomst
De auteur haalt de samenvatting van Richard Ngo aan, die observeert dat een groot deel van de AI-veiligheidsgemeenschap zich richt op scenario’s van een intelligentie-explosie in de komende jaren. Volgens Ngo zullen deze verwachtingen ‘juist zijn in hun richting, maar onjuist wat de feiten betreft’. Hij schrijft onder meer: ‘we zullen de komende 8 jaar geen superintelligentie hebben, maar de zaken zullen zo snel gaan dat het zal lijken alsof degenen die korte termijnen verdedigden gelijk hadden.’
De auteur verbindt deze positie met zijn eigen hypothese, die hij ‘lossy self-improvement’ noemt, ofwel een zelfverbetering ‘met verlies’, in tegenstelling tot recursieve zelfverbetering van AI (RSI), waarbij een AI bijdraagt aan het verbeteren van haar eigen ontwerp. Hij is van mening dat automatiseerbaar onderzoek te beperkt blijft om de vooruitgang sterk te versnellen, dat de afnemende meeropbrengsten door het parallel toevoegen van agents reëel zijn en dat de beperkingen van middelen en politieke factoren zwaar doorwegen.
Zeer verschillende tijdlijnen volgens experts
De auteur baseert zich op podcasts van Dwarkesh met Noam Brown, en vervolgens met John Schulman, Beren Millidge en Charlie O’Neill. In deze gesprekken geven de deelnemers tijdlijnen voor verschillende capaciteiten. Voor een ‘drop-in remote worker’ die algemeen kantoorwerk gedurende een maand kan uitvoeren, noemt John Schulman ongeveer een jaar voor een ‘acceptabele’ versie, Charlie O’Neill ongeveer een jaar met programmatische toegang tot tools, en twee jaar als een browser nodig is, terwijl Beren Millidge ongeveer drie jaar noemt voor volledige algemeenheid.
Voor een tienvoudige productiviteitsverhoging van AI-onderzoekers noemt John Schulman ongeveer twee jaar, Charlie O’Neill tussen vijf en tien jaar, en Beren Millidge vindt de schatting van twee jaar plausibel zonder zelf een andere voor te stellen. Voor een AI die de beste menselijke experts overtreft op alle computerwerk, inclusief meerjarige projecten (‘ASI’), noemt John Schulman drie tot vier jaar, Beren Millidge ongeveer vijf jaar voor de domeinen waarop laboratoria zich richten, en Charlie O’Neill vijf tot tien jaar.
Vooral winst in efficiëntie
De auteur benadrukt dat de vooruitgang geen scherpe drempels overschrijdt, omdat de intelligentie van modellen ongelijk blijft per taak. Hij is van mening dat de experimentele cyclus tien keer sneller zou kunnen worden, maar niet de formulering van hypothesen. Volgens hem zou zelfverbetering vooral moeten helpen om modellen goedkoper te maken en multi-agent systemen te verbeteren, omdat de servicemetrics van LLM’s meetbaar zijn.
Hij blijft echter voorzichtig over de kosten, omdat schaalwetten aantonen dat exponentiële middelen nodig zijn voor lineaire intelligentiewinsten. Hij citeert John Schulman over post-training, waarvan hij de taak moeilijk te automatiseren vindt: ‘het is heel gemakkelijk om post-training te verknoeien op een manier die niet in benchmarks verschijnt’. Hij vermeldt ten slotte een passage uit de Claude Fable 5.1 & Mythos 5.1 System Card: ‘We denken dat intern gebruik van recente AI-modellen een sleutelfactor is geweest om het huidige tempo van vooruitgang te behouden, maar we zien nog geen duidelijke tekenen van een spectaculaire versnelling voorbij dit tempo.’ Voorlopig beschouwt de auteur zijn eigen hypothese nog steeds als zijn referentie.
