Procesor centralny (CPU) znów staje się sercem infrastruktury sztucznej inteligencji, napędzanej rozwojem agentów AI. Jak wynika z przytoczonej prognozy, rynek CPU ma wzrosnąć z 26 miliardów dolarów w 2025 roku do 246 miliardów dolarów pięć lat później, a wzrost ten napędzany jest głównie przez CPU hostujące AI oraz środowiska wykonawcze agentów. W tym sponsorowanym materiale firma Arm promuje nowy sposób mierzenia wydajności tych maszyn.
Przez wiele lat preferowane do obliczeń związanych z uczeniem maszynowym były procesory graficzne (GPU) i inne wysoko równoległe, wyspecjalizowane procesory (XPU), zanim CPU, który dominuje w informatyce komercyjnej od sześciu dekad, odzyskał na znaczeniu. Wybór nie jest jednak prosty: nie wszystkie CPU są sobie równe, a hiperchmury, dostawcy chmury, twórcy modeli i przedsiębiorstwa muszą wyważyć między liczbą obsługiwanych wersji procesorów a precyzyjnym dopasowaniem do swoich obciążeń.
Mierzenie wydajności w nowy sposób
Zdaniem Arm, kluczową kwestią w skali centrum danych jest to, ile zadań można pomyślnie wykonać w ramach limitów mocy i termiki szafy rackowej. Firma zaleca zatem ocenę CPU na trzech poziomach: gniazda procesora, systemu i szafy rackowej. Jak przypomina artykuł, branża IT już wcześniej mierzyła się z tego typu złożonością, na przykład za pomocą benchmarku TPC-E, który symulował działanie fizycznego magazynu z wózkami widłowymi i łączył obciążenia interaktywne z przetwarzaniem wsadowym na wielu poziomach.
Jeff Defilippi, Senior Director, Product Management w Arm, podkreśla, że « mnożenie poziomów i zarządzanie stanami nie są niczym nowym ». To, co zmienia się wraz z agentami, wyjaśnia, to « sposób, w jaki komponenty są składane ». Pojedyncze zadanie może łączyć wywołania modeli, wyszukiwanie informacji, transakcje bazodanowe, wykonanie kodu i wywołania narzędzi, a wynik jednego etapu determinuje kolejny. « Nie liczy się więc już pojedynczy pomiar, ale pomyślne wykonanie całego zadania », twierdzi.
Arm nie proponuje jednak jednego, uniwersalnego benchmarku dla AI agentycznej. Firma opowiada się za metodologią łączącą ustalone testy komponentów, takie jak InferenceX i TPCx-AI, z pomiarami specyficznymi dla obciążeń agentycznych oraz oceną kompleksową. Testy te nie obejmują orkiestracji na CPU, zarządzania stanem, wykonywania narzędzi ani bezpieczeństwa. « Celem jest holistyczne spojrzenie na przepływ agentyczny, przy zachowaniu pomiarów na poziomie komponentów », precyzuje Jeff Defilippi. Dodaje, że firma nie « ogłasza konkretnego benchmarku dla klastra AGI CPU », ale definiuje « ramy obciążeń i pomiarów ».
Opóźnienie i współbieżność
W pętli agentycznej kluczowym ograniczeniem jest sekwencyjne opóźnienie, które leży w domenie CPU. Procesor musi czekać, aż GPU lub XPU przetworzą tokeny, czyli fragmenty tekstu manipulowane przez modele, zanim uruchomi zapytania, narzędzia czy generowanie kodu. « Wydajność jednowątkowa ma znaczenie, ponieważ wiele części pętli jest wrażliwych na opóźnienie », zauważa Jeff Defilippi, ostrzegając jednak: « to tylko jeden wymiar ». Liczba rdzeni, przepustowość pamięci i wydajność planowania stają się kluczowe wraz ze wzrostem liczby jednoczesnych agentów.
Arm proponuje wreszcie powiązanie tych pomiarów z mocą dostępną w szafie rackowej. « Zadania na szafę i energia na zadanie stają się ważne obok wydajności na poziomie CPU », wyjaśnia Jeff Defilippi. Jego zdaniem, większa liczba wykonanych zadań w ramach tego samego limitu mocy może przełożyć się na lepszą ekonomię infrastruktury. Firma szacuje, że te ramy powinny pozostawać aktualne przez cztery do pięciu lat, czyli przez okres, przez który obecnie instalowane maszyny pozostaną w eksploatacji.
Arm zleciła niezależnej stronie trzeciej porównanie swojego AGI CPU z procesorem AMD EPYC Turin w zakresie części przepływu agentycznego wykonywanych przez CPU, w tym narzędzi, orkiestracji i wnioskowania. Według artykułu, wyniki oparte na pomiarach na poziomie serwera pokazują około dwukrotnie wyższą wydajność na szafę rackową w porównaniu z AMD EPYC 9755.
