Команды Amazon представляют HOPE (Higher-Order Pruning of Experts) — метод обрезки, предназначенный для языковых моделей типа Mixture-of-Experts (MoE). Эти модели достигают сотен миллиардов параметров, но их память остаётся дорогим препятствием. HOPE стремится удалить наименее полезных экспертов, учитывая их взаимодействия.
В архитектуре MoE модель разделена на подсети, называемые «экспертами». Для каждого токена, то есть каждой обрабатываемой единицы текста, активируются лишь несколько экспертов. Согласно источнику, Qwen3.5-122B содержит 256 экспертов в каждом из своих 48 слоёв MoE. Эти эксперты сами по себе составляют 95 % от примерно 250 ГБ памяти модели, тогда как для заданного токена используется только 8 экспертов на слой.
Обрезка заключается в безвозвратном удалении экспертов. Этот подход позволяет избежать задержек, связанных с динамической загрузкой, не требует дополнительного обучения и сочетается с квантизацией. Однако существующие методы присваивают каждому эксперту изолированный балл, не учитывая других. HOPE отличается тем, что опирается на взаимодействия между парами экспертов.
Эксперты, которые сотрудничают
Авторы отмечают, что эксперты образуют группы, которые часто активируются вместе. Удаление эксперта, признанного маловажным, может таким образом разрушить группу, если другой эксперт, зависящий от него, активно используется. Методы, оценивающие каждого эксперта по отдельности, не видят этого явления.
HOPE основан на матрице под названием F. Её диагональ измеряет индивидуальную важность каждого эксперта, а значения вне диагонали измеряют их попарное сотрудничество. По словам авторов, диагональ почти идеально воспроизводит ранжирование метода REAP, являющегося эталоном, с коэффициентом Спирмена 0,988. Таким образом, любое улучшение HOPE по сравнению с REAP будет происходить от членов взаимодействия.
Результаты, улучшающиеся с ростом уровня обрезки
Метод был оценён на трёх моделях — Qwen3.5-122B, Qwen3.5-35B и GLM-4.5-Air — с двумя наборами калибровочных данных и сравнён с четырьмя эталонными методами: REAP, MAN, EAN и Frequency. Уровни обрезки варьировались от 10 % до 50 %. По всем условиям HOPE показывает наилучший средний ранг — 2,07 из 5 методов, занимая первое место в 39 % случаев.
Преимущество HOPE возрастает с увеличением уровня обрезки. При 50 % его средний ранг достигает 1,58 против 2,42 у REAP. На SWE-Bench Pro, тесте агентного программирования, Qwen3.5-35B-A3B, обрезанный на 50 %, набирает 42,3 балла против 41,8 у необрезанной модели, тогда как REAP опускается до 36,2, что означает регрессию на 13 %. Авторы указывают, что преимущество меньше при 10–20 % и что HOPE не учитывает взаимодействия между слоями.
Реализация в три этапа
Код, опубликованный в виде пакета, включает три команды: калибровка, решение квадратичной программы и затем обрезка. Для калибровки требуется всего один прямой проход по тестовым данным, а решение, согласно источнику, занимает одну-две секунды на слой. Полученная модель представляет собой стандартный контрольный чекпоинт Hugging Face, более лёгкий на диске и в памяти, без изменений в vLLM или SGLang. Тестирование проводилось на Qwen3, Qwen3-Next, Qwen3.5 и GLM-4.5.
