De centrale verwerkingseenheid (CPU) staat weer centraal in de infrastructuur voor kunstmatige intelligentie, gedreven door de ontwikkeling van IA-agenten. Volgens een voorspelling die in het artikel wordt aangehaald, zal de CPU-markt groeien van 26 miljard dollar in 2025 naar 246 miljard dollar vijf jaar later, een groei die vooral wordt gedreven door de host-CPU’s voor AI en de uitvoeringsomgevingen voor agenten. In deze door Arm gesponsorde inhoud verdedigt het bedrijf een nieuwe manier om de prestaties van deze machines te meten.
Gedurende meerdere jaren kregen zeer parallelle grafische processors (GPU’s) en andere gespecialiseerde processors (XPU’s) de voorkeur voor machine learning-berekeningen, voordat de CPU, die al zes decennia de zakelijke informatica domineert, weer aan belang won. De keuze is echter niet eenvoudig: niet alle CPU’s zijn gelijk, en hyperscalers, cloudproviders, modelontwikkelaars en bedrijven moeten een afweging maken tussen het aantal processorreferenties dat ze willen gebruiken en de zoektocht naar een precieze afstemming op hun workloads.
Prestaties anders meten
Volgens Arm is de vraag, op datacenterschaal, hoeveel succesvolle taken kunnen worden uitgevoerd binnen de stroom- en thermische grenzen van een rack. Het bedrijf beveelt daarom aan om CPU’s op drie niveaus te evalueren: de socket, het systeem en het rack. De computerindustrie heeft dit soort complexiteit al eerder het hoofd geboden, herinnert het artikel, met name met de TPC-E-benchmark, die de werking van een fysiek magazijn simuleerde, met zijn vorkheftrucks, en interactieve belastingen en batchverwerking op meerdere niveaus mengde.
Jeff Defilippi, Senior Director Product Management bij Arm, benadrukt dat « het vermenigvuldigen van niveaus en het beheren van staten niet nieuw is ». Wat verandert met agenten, legt hij uit, is « de manier waarop de componenten worden samengesteld ». Een enkele taak kan opeenvolgende modelaanroepen, informatiezoekacties, databasetransacties, code-uitvoering en toolaanroepen omvatten, waarbij het resultaat van de ene stap de volgende bepaalt. « Het gaat dus niet meer om een geïsoleerde meting, maar om het succes van de volledige taak », stelt hij.
Arm stelt echter geen unieke benchmark voor voor agentische AI. Het bedrijf verdedigt een methodologie die gevestigde componenttests, zoals InferenceX en TPCx-AI, combineert met metingen specifiek voor agentische workloads en een end-to-end evaluatie. Deze tests dekken niet de CPU-orchestratie, state management, tool-uitvoering of beveiliging. « Het doel is een holistische kijk op de agentische flow, terwijl componentmetingen behouden blijven », verduidelijkt Jeff Defilippi. Hij voegt toe dat het bedrijf geen « specifieke benchmark voor een AGI CPU-cluster aankondigt », maar wel « het kader van workloads en metingen » definieert.
Latentie en gelijktijdigheid
In een agentische loop vormt sequentiële latentie, het domein van de CPU, een belangrijke beperking. De processor moet wachten tot de GPU’s of XPU’s de tokens hebben verwerkt, dat wil zeggen de tekstfragmenten die door de modellen worden gemanipuleerd, voordat queries, tools of codegeneratie kunnen worden gestart. « Single-thread prestaties tellen omdat veel delen van de loop latentiegevoelig zijn », merkt Jeff Defilippi op, die echter waarschuwt: « het is slechts één dimensie ». Het aantal kernen, de geheugenbandbreedte en de efficiëntie van de planning worden essentieel naarmate het aantal gelijktijdige agenten toeneemt.
Arm stelt ten slotte voor om deze metingen te koppelen aan het beschikbare vermogen in een rack. « Taken per rack en energie per taak worden belangrijk naast de prestaties op CPU-niveau », legt Jeff Defilippi uit. Volgens hem kunnen meer voltooide taken binnen hetzelfde vermogen leiden tot een betere infrastructuureconomie. Het bedrijf schat dat dit kader vier tot vijf jaar relevant zou moeten blijven, een periode die overeenkomt met de levensduur van de huidige machines.
Arm heeft een onafhankelijke derde partij ingeschakeld om zijn AGI CPU te vergelijken met de AMD EPYC Turin op de delen van de agentische flow die door de CPU worden uitgevoerd, met name tooling, orchestratie en redenering. Volgens het artikel tonen de resultaten, gebaseerd op metingen op serverniveau, ongeveer twee keer de prestatie per rack in vergelijking met de AMD EPYC 9755.
