Een ondernemerschapsprofessor onderwierp het model Claude Fable 5.2 van Anthropic aan een reeks uiteenlopende taken, voorafgaand aan de publieke lancering. Zijn conclusie: het model is ‘bijna’ een intelligence artificielle générale (AGI), een AI die kan wedijveren met de meeste menselijke experts in de meeste taken die op een computer uitvoerbaar zijn, maar met tekortkomingen die hij omschrijft als een ‘getande’ AGI (jagged).
- Een professor vindt Claude Fable 5.2 bijna een AGI, maar met ongelijke prestaties.
- Het model voert concrete taken goed uit, zoals een spelconsole bouwen en een bedrijfsplan opstellen.
- Het 3D-werelden-project loopt vast door dubbele werk van agents en een veel te lang reglement.
- De AI merkt haar eigen tekortkomingen niet op, dus de auteur begeleidt elk project.
De auteur hanteert een bewust beperkte definitie: ‘een AI die even goed is als de meeste menselijke experts in de meeste intellectuele taken die men met een computer kan uitvoeren’. Ze sluit dus interactie met de fysieke wereld en met andere personen uit. In dat kader vroeg hij het model verschillende projecten uit te voeren, waarvan sommige zeer concreet.
Voor een klein USB-toetsenbord met lichtgevende toetsen, de Codex Micro, ontworpen om met ChatGPT te werken, las het model de code van de twee applicaties die het aansturen en transformeerde vervolgens het apparaat in een spelconsole. Het schreef zes spellen, waaronder Simon en een kluisspel dat met de draaiknop bediend moet worden. Volgens de auteur deed het dit ‘zonder enige hulp’ bij de eerste poging, terwijl er geen publieke documentatie over bestaat.
Business, literatuur en onderzoek
Toen de auteur vroeg om ‘een bedrijf op te starten om mij geld te laten verdienen’, met een doel van minstens 20.000 dollar in een jaar en niet meer dan twintig minuten per maand van zijn tijd, onderzocht het model 22 ideeën. Het koos voor Prebid Brief, een dienst die verkopers van apparatuur informeert over welke projecten voor parken en waternetwerken gefinancierd zijn of in ontwerp zijn, voordat ze aanbesteed worden. Het analyseerde de publieke agenda’s van 201 gemeenten en intercommunales. De auteur stopte het experiment voor de lancering, omdat hij het een geloofwaardig plan vond, maar waarvan het succes niet gegarandeerd was: de AI zelf schatte haar kansen tussen 20% en 40%.
Het model reconstrueerde ook ‘Fate and the Individual in European Literature’, de cursus die W. H. Auden in 1941 gaf aan de Universiteit van Michigan, bekend als een van de moeilijkste uit de geschiedenis. De geproduceerde website bevat een fiche voor elk van de 35 werken uit het programma. De eerste versie was volgens de auteur ‘correct maar zonder vreugde’, en er waren meerdere iteraties nodig voor een meer afgewerkt resultaat.
Ten slotte schreef het model een onderzoeksartikel, ‘The One-Dollar Company’. Hierin schat het dat de verhoging van de registratiekosten voor LLC’s in Colorado, van 50 naar 1 dollar, samenviel met een stijging van ongeveer 17% in het aantal opgerichte bedrijven, terwijl in het Verenigd Koninkrijk een verhoging van 12 naar 50 pond gevolgd werd door een daling van ongeveer 17%. Het document telt 182 pagina’s. De auteur preciseert dat het niet daadwerkelijk vooraf geregistreerd werd en dat het niet publiceerbaar is in de huidige staat.
Succesverhalen en beperkingen
Het meest spectaculaire project is ongetwijfeld een universum van 3D-werelden verbonden door portalen, volledig getekend door code. Twintig uur na de start waren 204 werelden online op een site en ligne; er zijn er nu meer dan 450. Claude schat dat het project 25.000 uitvoeringen van agents vereiste, waarvan de meeste een eenvoudige taak uitvoerden.
Maar er deden zich problemen voor. Drie teams van agents creëerden onafhankelijk van elkaar wervelstormen van ronddraaiende dieren, en het creatietempo daalde tot een dozijn werelden per dag. De agents interpreteerden de vraag om bestaande werelden ‘op te poetsen’ als de verplichting om de oude versies te verslaan in een blinde stemming. Het resulterende reglement telde 84 secties, en na twaalf dagen 204 secties en 87.500 woorden. Een team van agents dat belast was met het analyseren van het proces zorgde ervoor dat het tempo terugklom tot meer dan dertig werelden per dag.
Volgens de auteur blijft het beslissende punt dat de AI haar eigen tekortkomingen niet zelf heeft opgemerkt: controles wezen fouten aan, maar geen enkele signaleerde dat de cursus vervelend was of dat het reglement excessief was geworden. Elk project vertrok van een idee gegeven door de auteur, die het werk gedurende het hele proces begeleidde.
