Le processeur central (CPU) redevient au cœur des infrastructures d’intelligence artificielle, portées par le développement des agents IA. Selon une prévision citée par l’article, le marché des CPU devrait passer de 26 milliards de dollars en 2025 à 246 milliards de dollars cinq ans plus tard, une croissance tirée surtout par les CPU hôtes des IA et par les environnements d’exécution des agents. Dans ce contenu sponsorisé par Arm, l’entreprise défend une nouvelle manière de mesurer les performances de ces machines.
- Le CPU retrouve un rôle central dans l’infrastructure de l’IA agentique.
- Arm recommande d’évaluer les CPU au niveau du socket, du système et du rack.
- La réussite de la tâche complète compte plus que les mesures isolées.
- Selon un test commandé par Arm, son AGI CPU offre environ deux fois la performance par rack de l’AMD EPYC 9755.
Pendant plusieurs années, les processeurs graphiques (GPU) et les autres processeurs spécialisés (XPU), très parallèles, ont été privilégiés pour les calculs liés au machine learning, avant que le CPU, qui domine l’informatique commerciale depuis six décennies, ne reprenne de l’importance. Le choix n’est pourtant pas simple : tous les CPU ne se valent pas, et les hyperscalers, les fournisseurs de cloud, les développeurs de modèles et les entreprises doivent arbitrer entre le nombre de références de processeurs qu’ils acceptent d’utiliser et la recherche d’une adéquation précise avec leurs charges de travail.
Mesurer autrement les performances
Selon Arm, la question, à l’échelle d’un centre de données, est de savoir combien de tâches réussies peuvent être accomplies dans les limites de puissance et de thermique d’un rack. L’entreprise recommande donc d’évaluer les CPU à trois niveaux : le socket, le système et le rack. L’industrie informatique a déjà affronté ce type de complexité, rappelle l’article, notamment avec le benchmark TPC-E, qui simulait le fonctionnement d’un entrepôt physique, avec ses chariots élévateurs, et mêlait charges interactives et traitements par lots sur plusieurs niveaux.
Jeff Defilippi, Senior Director, Product Management chez Arm, souligne que « la multiplication des niveaux et la gestion d’états ne sont pas nouvelles ». Ce qui change avec les agents, explique-t-il, c’est « la façon dont les composants sont assemblés ». Une seule tâche peut enchaîner appels de modèles, recherche d’informations, transactions de base de données, exécution de code et appels d’outils, le résultat d’une étape déterminant la suite. « Ce n’est donc plus une mesure isolée qui compte, mais la réussite de la tâche complète », affirme-t-il.
Arm ne propose pas pour autant un benchmark unique pour l’IA agentique. L’entreprise défend une méthodologie qui combine des tests de composants établis, comme InferenceX et TPCx-AI, avec des mesures propres aux charges agentiques et une évaluation de bout en bout. Ces tests ne couvrent pas l’orchestration sur CPU, la gestion d’état, l’exécution des outils ou la sécurité. « L’objectif est une vision globale du flux agentique, tout en conservant des mesures par composant », précise Jeff Defilippi. Il ajoute que l’entreprise ne « annonce pas un benchmark spécifique pour un cluster AGI CPU », mais définit « le cadre de charges de travail et de mesures ».
Latence et concurrence
Dans une boucle agentique, la latence séquentielle, domaine du CPU, constitue une contrainte clé. Le processeur doit attendre que les GPU ou XPU traitent les tokens, c’est-à-dire les fragments de texte manipulés par les modèles, avant de lancer requêtes, outils ou génération de code. « La performance mono-thread compte parce que de nombreuses parties de la boucle sont sensibles à la latence », observe Jeff Defilippi, qui met toutefois en garde : « ce n’est qu’une dimension ». Le nombre de cœurs, la bande passante mémoire et l’efficacité de l’ordonnancement deviennent essentiels à mesure que le nombre d’agents simultanés augmente.
Arm propose enfin de relier ces mesures à la puissance disponible dans un rack. « Les tâches par rack et l’énergie par tâche deviennent importantes à côté des performances au niveau du CPU », explique Jeff Defilippi. Selon lui, davantage de tâches accomplies dans une même enveloppe de puissance peuvent se traduire par une meilleure économie d’infrastructure. L’entreprise estime que ce cadre devrait rester pertinent pendant quatre à cinq ans, une durée qui correspond à celle pendant laquelle les machines installées aujourd’hui resteront en service.
Arm a mandaté un tiers indépendant pour comparer son AGI CPU à l’AMD EPYC Turin sur les parties du flux agentique exécutées par le CPU, notamment l’outillage, l’orchestration et le raisonnement. Selon l’article, les résultats, établis à partir de mesures au niveau du serveur, montrent environ deux fois la performance par rack par rapport à l’AMD EPYC 9755.
