The AI / news

Квантование только весов облегчает модели ИИ

Квантование только весов облегчает модели ИИ
3 мин чтения

Квантование только весов заключается в хранении некоторых параметров модели-трансформера в виде целых чисел, в то время как активации остаются в форматах FP16 или BF16. Эта техника направлена на сокращение занимаемой памяти и стоимости чтения весов, что является значительной нагрузкой при генерации текста. Недавно опубликованный туториал подробно описывает её математический принцип, а затем инструменты для её применения с PyTorch и другими движками вывода.

Во время генерации модель читает свои веса при каждом новом токене, то есть каждой единице текста, которую она производит. При небольшом размере пакета перемещение этих весов может занимать больше времени, чем сами вычисления. Вес в INT8 занимает в два раза меньше места, чем вес в FP16 или BF16. Квантование также может ускорить вычисления, поскольку многие GPU, предназначенные для ИИ, выполняют матричные операции в низкой точности быстрее, чем в FP16. Однако реальный выигрыш зависит от оборудования, вычислительных ядер и архитектуры моделей.

Принцип масштаба и нулевой точки

Представленный метод основан на асимметричном аффинном соответствии, которое использует масштаб и нулевую точку. Масштаб определяет разницу между двумя представимыми значениями, в то время как нулевая точка — это целочисленный код, соответствующий реальному нулю. Включение нуля в диапазон значений позволяет представить его точно. В туториале уточняется, что этот пример иллюстрирует вычисления, а не эффективное хранение: тензор в uint8 занимает один байт на элемент, даже для менее восьми бит. Квантования по каналу или по группе часто лучше сохраняют качество весов большой языковой модели, поскольку каждый канал или группа имеет свой собственный диапазон.

В PyTorch функция quantize_() из библиотеки TorchAO заменяет веса модулей torch.nn.Linear на месте. Применённая к уже обученной модели, она относится к посттренировочному квантованию без дополнительного этапа обучения. Туториал показывает конфигурацию INT8 с асимметричным квантованием по каналу, при этом активации остаются в BF16. TorchAO также предлагает предустановки, адаптированные к оборудованию, такие как Int4WeightOnlyConfig, а библиотека transformers может применять такую конфигурацию при загрузке модели. Автор рекомендует проводить измерения производительности на всей модели, поскольку математически корректная конфигурация не обязательно является самой быстрой.

GPTQ, AWQ и GGUF

Методы GPTQ и AWQ используют калибровочные данные для уменьшения влияния ошибок квантования на выходы модели. GPTQ квантует веса слой за слоем и корректирует оставшиеся веса, чтобы компенсировать предыдущие ошибки. Библиотека transformers теперь использует GPT-QModel в качестве движка GPTQ. AWQ, или Activation-aware Weight Quantization, определяет важные веса на основе репрезентативных активаций, а затем ищет масштабные коэффициенты, чтобы защитить их перед квантованием в низкую точность. Для этого метода туториал использует эталонную реализацию llm-awq, для которой необходимо следовать собственным инструкциям по установке, и модель TinyLlama/TinyLlama-1.1B-Chat-v1.0. Поиск параметров опирается на 128 образцов из валидационной части mit-han-lab/pile-val-backup, сформированных в последовательности по 512 токенов.

Формат GGUF, используемый в экосистеме llama.cpp, служит контейнером для метаданных, токенизатора и квантованных тензоров, но сам по себе не является алгоритмом квантования. Процесс проходит в два этапа: преобразование исходной модели в GGUF высокой точности, в bfloat16, а затем квантование с типом Q4_K_M. Этот тип является смешанным, поскольку использует разные схемы кодирования для разных тензоров. Поэтому размер файла не соответствует точно четырём битам на параметр. Туториал напоминает, что квантовать нужно из наилучшего доступного источника, так как повторное квантование накапливает ошибки аппроксимации.

Согласно туториалу, оценка должна проводиться на репрезентативных входных данных, с использованием перплексии, точности на целевых задачах и попарного сравнения сгенерированных текстов. Прилагаемый скрипт измеряет на CUDA GPU пиковую выделенную память и медианную длительность генерации для модели FP16 и GPTQ-версии facebook/opt-125m. Туториал заключает, что квантование полезно только в том случае, если формат, числовая схема, расположение сжатых данных и ядро вывода работают согласованно.

S’abonner
Notification pour
guest

0 Commentaires
Le plus ancien
Le plus récent Le plus populaire
0
Nous aimerions avoir votre avis, veuillez laisser un commentaire.x