L’unità centrale di elaborazione (CPU) torna al centro delle infrastrutture di intelligenza artificiale, spinte dallo sviluppo degli agenti IA. Secondo una previsione citata dall’articolo, il mercato delle CPU dovrebbe passare da 26 miliardi di dollari nel 2025 a 246 miliardi di dollari cinque anni dopo, una crescita trainata soprattutto dalle CPU host per le IA e dagli ambienti di esecuzione degli agenti. In questo contenuto sponsorizzato da Arm, l’azienda difende un nuovo modo di misurare le prestazioni di queste macchine.
Per diversi anni, le unità di elaborazione grafica (GPU) e altri processori specializzati (XPU), altamente paralleli, sono stati preferiti per i calcoli legati al machine learning, prima che la CPU, che domina l’informatica commerciale da sei decenni, riacquistasse importanza. La scelta non è però semplice: non tutte le CPU sono uguali, e gli hyperscaler, i fornitori di cloud, gli sviluppatori di modelli e le aziende devono scegliere tra il numero di modelli di processori che accettano di utilizzare e la ricerca di un’adeguatezza precisa con i propri carichi di lavoro.
Misurare diversamente le prestazioni
Secondo Arm, la domanda, su scala di un data center, è quante attività completate con successo possono essere eseguite entro i limiti di potenza e termici di un rack. L’azienda raccomanda quindi di valutare le CPU su tre livelli: il socket, il sistema e il rack. L’industria informatica ha già affrontato questo tipo di complessità, ricorda l’articolo, in particolare con il benchmark TPC-E, che simulava il funzionamento di un magazzino fisico, con i suoi carrelli elevatori, e mescolava carichi interattivi ed elaborazioni batch su più livelli.
Jeff Defilippi, Senior Director, Product Management presso Arm, sottolinea che « la moltiplicazione dei livelli e la gestione degli stati non sono nuove ». Ciò che cambia con gli agenti, spiega, è « il modo in cui i componenti sono assemblati ». Un singolo compito può concatenare chiamate di modelli, ricerca di informazioni, transazioni di database, esecuzione di codice e chiamate a strumenti, con il risultato di una fase che determina la successiva. « Quindi non è più una misura isolata che conta, ma il completamento con successo dell’intero compito », afferma.
Arm non propone tuttavia un benchmark unico per The AI / news agentica. L’azienda difende una metodologia che combina test di componenti consolidati, come InferenceX e TPCx-AI, con misurazioni specifiche per i carichi agentici e una valutazione end-to-end. Questi test non coprono l’orchestrazione su CPU, la gestione dello stato, l’esecuzione degli strumenti o la sicurezza. « L’obiettivo è una visione globale del flusso agentico, pur mantenendo misurazioni per componente », precisa Jeff Defilippi. Aggiunge che l’azienda non « annuncia un benchmark specifico per un cluster AGI CPU », ma definisce « il quadro dei carichi di lavoro e delle misurazioni ».
Latenza e concorrenza
In un ciclo agentico, la latenza sequenziale, dominio della CPU, costituisce un vincolo chiave. Il processore deve attendere che le GPU o gli XPU elaborino i token, cioè i frammenti di testo manipolati dai modelli, prima di lanciare query, strumenti o generazione di codice. « Le prestazioni single-thread contano perché molte parti del ciclo sono sensibili alla latenza », osserva Jeff Defilippi, che mette però in guardia: « è solo una dimensione ». Il numero di core, la larghezza di banda della memoria e l’efficienza dello scheduling diventano essenziali man mano che aumenta il numero di agenti simultanei.
Arm propone infine di collegare queste misurazioni alla potenza disponibile in un rack. « I compiti per rack e l’energia per compito diventano importanti accanto alle prestazioni a livello di CPU », spiega Jeff Defilippi. Secondo lui, un maggior numero di compiti completati entro lo stesso budget energetico può tradursi in una migliore economia dell’infrastruttura. L’azienda stima che questo quadro dovrebbe rimanere pertinente per quattro o cinque anni, una durata che corrisponde al periodo in cui le macchine installate oggi rimarranno in servizio.
Arm ha incaricato una terza parte indipendente di confrontare il proprio AGI CPU con l’AMD EPYC Turin sulle parti del flusso agentico eseguite dalla CPU, in particolare lo strumentario, l’orchestrazione e il ragionamento. Secondo l’articolo, i risultati, stabiliti sulla base di misurazioni a livello di server, mostrano circa il doppio delle prestazioni per rack rispetto all’AMD EPYC 9755.
