The AI / news

Активация и квантование с плавающей запятой : основы, которые нужно знать

Активация и квантование с плавающей запятой : основы, которые нужно знать
3 мин чтения

Квантование активаций — значений, вычисляемых во время вывода языковой модели, — оказывается более сложной задачей, чем квантование весов, которые фиксируются после обучения. Согласно статье Machine Learning Mastery, метод SmoothQuant и формат FP8 предлагают два решения этой проблемы, а библиотека LLM Compressor проекта vLLM позволяет их применять.

Почему активации сложно квантовать

Веса нейросети фиксируются после завершения обучения: их можно квантовать один раз перед развертыванием. Активации же зависят от обрабатываемого токена, его позиции в последовательности и предыдущих слоев. Их диапазоны значений могут меняться от запроса к запросу, а некоторые каналы могут содержать устойчивые экстремальные значения.

Существуют два подхода. Статическое квантование использует масштабы, вычисленные на этапе калибровки, что быстро, но входные данные, выходящие за пределы калиброванного диапазона, могут быть усечены. Динамическое квантование измеряет каждый тензор во время выполнения: оно адаптируется к каждому входу, но добавляет вычислительные затраты. В статье, в частности, представлено динамическое квантование по токенам в знаковом симметричном INT8, где каждый вектор финальной размерности получает свой собственный масштаб.

Выбор диапазона также создает компромисс. Охват всех значений делает шаг квантования грубым для обычных значений, тогда как усечение улучшает их точность ценой экстремальных значений. Лучший вариант зависит от того, как последующие веса используют этот вектор.

SmoothQuant и формат W8A8

Аббревиатура W8A8 обозначает веса и активации в INT8 для матричного умножения. Когда аппаратное обеспечение эффективно обрабатывает эти целочисленные вычисления, такая конфигурация может сократить передачу данных в памяти и увеличить вычислительную пропускную способность. Смещения, нормализация или остаточные связи могут оставаться в более высокой точности.

SmoothQuant решает проблему экстремальных значений, перенося часть сложности с активаций на веса. Принцип основан на математически эквивалентном преобразовании перед квантованием: важные каналы активации делятся на большие масштабы, в то время как соответствующие столбцы весов умножаются на те же масштабы. В статье уточняется, что это преобразование лишь демонстрирует точную эквивалентность, а реальная реализация выводит масштабы из величин весов и активаций калибровки.

Автор указывает, что конфигурация W8A8 не гарантирует более высокую скорость по сравнению с форматом W4A16 или BF16. W8A8 может использовать преимущества целочисленного матричного вычисления, особенно при предварительном заполнении и для больших пакетов, тогда как W4A16 читает меньше байтов весов и может подходить для декодирования с малыми пакетами. Статья рекомендует измерять обе фазы.

Квантование с плавающей запятой

FP8 — это не просто удаление битов из значения FP32. В схеме FP8 с масштабированием тензор делится на масштаб, а затем каждый результат округляется до представимого значения FP8. В отличие от INT8, значения FP8 расположены нерегулярно: они более плотны около нуля и более разрежены для больших значений.

В статье, в частности, выделяются E4M3 (четыре бита экспоненты и три бита мантиссы) и E5M2 (пять битов экспоненты и два бита мантиссы). E4M3 обеспечивает большую точность, а E5M2 — более широкий диапазон. Выбор зависит от аппаратного обеспечения и движка вывода.

Рецепт LLM Compressor под названием FP8_DYNAMIC конвертирует модель в формат Hugging Face, квантуя веса округлением до ближайшего и вычисляя масштабы активаций во время вывода. Также предлагается вариант, сочетающий SmoothQuant и FP8. Согласно статье, текущие версии vLLM поддерживают FP8 на GPU NVIDIA Ada Lovelace, Hopper и Blackwell, а также на некоторых ускорителях AMD, и рекомендуется проверять матрицу совместимости для целевого оборудования.

S’abonner
Notification pour
guest

0 Commentaires
Le plus ancien
Le plus récent Le plus populaire
0
Nous aimerions avoir votre avis, veuillez laisser un commentaire.x