Центральный процессор (CPU) вновь становится сердцем инфраструктур искусственного интеллекта, чему способствует развитие агентов ИИ. Согласно прогнозу, приведенному в статье, рынок CPU должен вырасти с 26 миллиардов долларов в 2025 году до 246 миллиардов долларов пять лет спустя, и этот рост будет в основном обеспечен CPU, выступающими хост-системами для ИИ, и средами выполнения агентов. В этом спонсируемом Arm материале компания отстаивает новый способ измерения производительности этих машин.
В течение нескольких лет для вычислений, связанных с машинным обучением, предпочтение отдавалось графическим процессорам (GPU) и другим высокопараллельным специализированным процессорам (XPU), прежде чем CPU, доминирующий в коммерческих вычислениях на протяжении шести десятилетий, вновь набрал вес. Однако выбор не прост: не все CPU одинаковы, и гиперскалеры, облачные провайдеры, разработчики моделей и предприятия должны выбирать между количеством моделей процессоров, которые они готовы использовать, и поиском точного соответствия своим рабочим нагрузкам.
Измерять производительность иначе
По мнению Arm, вопрос в масштабах центра обработки данных заключается в том, сколько успешных задач можно выполнить в пределах энергетических и тепловых ограничений одного стойки. Поэтому компания рекомендует оценивать CPU на трех уровнях: сокет, система и стойка. Как напоминает статья, ИТ-индустрия уже сталкивалась с подобной сложностью, например, с тестом TPC-E, который имитировал работу физического склада с его погрузчиками и сочетал интерактивные нагрузки и пакетную обработку на нескольких уровнях.
Джефф Дефилиппи, старший директор по управлению продуктами в Arm, подчеркивает, что « многоуровневость и управление состоянием — это не новость ». То, что меняется с появлением агентов, по его словам, — это « способ сборки компонентов ». Одна задача может включать последовательные вызовы моделей, поиск информации, транзакции с базой данных, выполнение кода и вызовы инструментов, причем результат одного этапа определяет следующий. « Поэтому важна уже не отдельная метрика, а успешное выполнение всей задачи », — утверждает он.
Однако Arm не предлагает единого теста для агентного ИИ. Компания отстаивает методологию, сочетающую устоявшиеся компонентные тесты, такие как InferenceX и TPCx-AI, с измерениями, специфичными для агентных нагрузок, и сквозной оценкой. Эти тесты не охватывают оркестрацию на CPU, управление состоянием, выполнение инструментов или безопасность. « Цель — получить целостное представление об агентном потоке, сохраняя при этом измерения по компонентам », — уточняет Джефф Дефилиппи. Он добавляет, что компания не « анонсирует конкретный тест для кластера AGI CPU », а определяет « фреймворк рабочих нагрузок и измерений ».
Задержка и параллелизм
В агентном цикле последовательная задержка, являющаяся областью ответственности CPU, представляет собой ключевое ограничение. Процессор должен ждать, пока GPU или XPU обработают токены, то есть фрагменты текста, которыми оперируют модели, прежде чем запускать запросы, инструменты или генерацию кода. « Однопоточная производительность важна, потому что многие части цикла чувствительны к задержке », — отмечает Джефф Дефилиппи, но предупреждает: « это лишь одно измерение ». Количество ядер, пропускная способность памяти и эффективность планирования становятся критически важными по мере роста числа одновременно работающих агентов.
Наконец, Arm предлагает связать эти измерения с доступной мощностью в стойке. « Задачи на стойку и энергопотребление на задачу становятся важными наряду с производительностью на уровне CPU », — объясняет Джефф Дефилиппи. По его словам, большее количество выполненных задач в рамках одного и того же энергетического бюджета может привести к лучшей экономической эффективности инфраструктуры. Компания считает, что этот фреймворк останется актуальным в течение четырех-пяти лет, что соответствует сроку службы машин, установленных сегодня.
Arm поручила независимой третьей стороне сравнить свой AGI CPU с AMD EPYC Turin на тех этапах агентного потока, которые выполняются CPU, в частности, инструментарий, оркестрацию и логический вывод. Согласно статье, результаты, полученные на основе измерений на уровне сервера, показывают примерно двукратное превосходство в производительности на стойку по сравнению с AMD EPYC 9755.
