Dertig maanden na de publicatie van Co-Intelligence, publiceert de auteur vandaag Co-Existence, een tweede boek gewijd aan kunstmatige intelligentie. In een blogpost geïllustreerd met grafieken, schetst hij de vooruitgang sindsdien: volgens hem overtreffen nu 180 modellen GPT-4 zoals het was bij de lancering. Hij legt ook uit dat hij de creatie van deze grafieken aan een AI heeft toevertrouwd, wat volgens hem illustreert hoe de manier van deze tools te gebruiken is veranderd.
Het model GPT-4, ontwikkeld door OpenAI, was van februari 2023 tot begin 2024 het beste model ter wereld, volgens de auteur. Sindsdien hebben twintig verschillende modellen op een bepaald moment de eerste plaats ingenomen, allemaal afkomstig van Anthropic, Google of OpenAI. Van de 180 modellen die GPT-4 nu overtreffen, zijn er veel open gewicht, wat betekent dat iedereen ze vrij kan gebruiken of aanpassen. Negentien kunnen draaien op een recente smartphone.
Om de vooruitgang in capaciteiten te meten, baseert de auteur zich op de METR Long Horizon Benchmark, een test die evalueert hoeveel menselijk werk een AI kan verrichten met minstens 50% kans op succes op basis van een enkele instructie. Volgens deze grafiek is het volume uitvoerbaar werk acht keer verdubbeld tussen de lancering van GPT-4 en het einde van deze meting. In 2024 kon een AI een taak van vier minuten uitvoeren. Toen de auteur zijn manuscript inleverde, in april 2026, kon het 17 uur menselijk werk verrichten. METR gaf daarna aan dit cijfer niet meer nauwkeurig te kunnen meten met zijn huidige methoden. Andere studies suggereren dat het 17 weken werk, of zelfs meer, zou kunnen bereiken.
Tegelijkertijd zijn de prijzen gedaald. De Google Proof Question and Answer Exam, een test met vragen die masterstudenten moeilijk vinden, kostte 30 cent AI-gebruik per goed antwoord. Het kost nu slechts vier honderdsten van een cent om hetzelfde resultaat te behalen. De vooruitgang blijft echter ongelijk: de auteur vindt dat AI nog steeds slecht is in het schrijven van lange teksten, terwijl het oplossen van wiskundige problemen in dezelfde periode van zeer slecht naar bovenmenselijk is gegaan.
Een nieuwe manier van werken
Deze winsten veranderen, volgens de auteur, de manier van werken met AI. In Co-Intelligence beschreef hij twee benaderingen: het ‘centaur’-werk, waar menselijke en AI-taken worden verdeeld, en het ‘cyborg’-werk, waar beide verweven zijn. Met de komst van agents, die zelfstandig taken aaneenrijgen, voegt hij een derde figuur toe, de ‘conjurer’. Deze roept agents op wanneer nodig, vertrouwt hen werk toe en evalueert hun resultaten. De grafieken in de blogpost zijn op deze manier gemaakt, met het model Opus 5.5 in Claude Projects, dat werkt met een hoofd-agent die andere agents lanceert. De auteur ziet dit als de krachtigste manier om AI te gebruiken, maar ook als een bron van nieuwe risico’s, omdat men uit het oog verliest wat de AI precies doet om deze resultaten te behalen.
Om dit punt te illustreren, heeft de auteur ook zijn gebruikelijke test hernomen, de opdracht ‘Otter on an Airplane Using Wifi’, die hij al enkele jaren gebruikt. Voorgelegd aan Opus 5.5, werd het resultaat, een video gemaakt met Google- en ElevenLabs-diensten, geproduceerd vanuit het scenario, de beelden, de muziek en de technische aspecten, zonder enige hulp van zijn kant. De auteur erkent dat de video enkele gebreken vertoont. Zijn boek, benadrukt hij, richt zich op trends in plaats van op het nieuws over modellen, en op de vraag wat dit verandert voor mensen. Co-Existence is online beschikbaar.
