Kwantyzacja tylko wag odciąża modele sztucznej inteligencji

Kwantyzacja tylko wag odciąża modele sztucznej inteligencji
3 min czytania

Kwantyzacja tylko wag polega na przechowywaniu niektórych parametrów modelu transformatora w postaci liczb całkowitych, przy zachowaniu aktywacji w formacie FP16 lub BF16. Technika ta ma na celu zmniejszenie zajmowanej pamięci i kosztu odczytu wag, co ma duże znaczenie podczas generowania tekstu. Opublikowany niedawno tutorial szczegółowo opisuje jej matematyczną zasadę, a następnie narzędzia umożliwiające jej zastosowanie z PyTorch i innymi silnikami inferencji.

Podczas generowania model odczytuje swoje wagi dla każdego nowego tokenu, czyli każdej jednostki tekstu, którą produkuje. Przy małym rozmiarze wsadu przesyłanie tych wag może zająć więcej czasu niż samo obliczenie. Waga w formacie INT8 zajmuje dwa razy mniej miejsca niż waga w FP16 lub BF16. Kwantyzacja może również przyspieszyć obliczenia, ponieważ wiele GPU dedykowanych do AI wykonuje operacje macierzowe w niskiej precyzji szybciej niż w FP16. Rzeczywisty zysk zależy jednak od sprzętu, jąder obliczeniowych i kształtu modeli.

Zasada skali i punktu zerowego

Prezentowana metoda opiera się na asymetrycznym odwzorowaniu afinicznym, które wykorzystuje skalę i punkt zerowy. Skala określa odstęp między dwiema reprezentowalnymi wartościami, podczas gdy punkt zerowy jest kodem całkowitym odpowiadającym rzeczywistemu zeru. Uwzględnienie zera w zakresie wartości pozwala na jego dokładne przedstawienie. Tutorial wyjaśnia, że ten przykład ilustruje obliczenia, a nie efektywne przechowywanie: tensor w uint8 zajmuje jeden bajt na element, nawet dla mniej niż ośmiu bitów. Kwantyzacje kanałowe lub grupowe często lepiej zachowują jakość wag dużego modelu językowego, ponieważ każdy kanał lub grupa ma własny zakres.

W PyTorch funkcja quantize_() z biblioteki TorchAO zastępuje wagi modułów torch.nn.Linear w miejscu. Stosowana do już wytrenowanego modelu, należy do kwantyzacji po treningu, bez dodatkowej fazy uczenia. Tutorial pokazuje konfigurację INT8 asymetryczną kanałowo, z aktywacjami pozostającymi w BF16. TorchAO oferuje również predefiniowane ustawienia dostosowane do sprzętu, jak Int4WeightOnlyConfig, a biblioteka transformers może zastosować taką konfigurację podczas ładowania modelu. Autor zaleca przeprowadzanie pomiarów wydajności na całym modelu, ponieważ matematycznie poprawna konfiguracja niekoniecznie jest najszybsza.

GPTQ, AWQ i GGUF

Metody GPTQ i AWQ wykorzystują dane kalibracyjne, aby zmniejszyć wpływ błędów kwantyzacji na wyjścia modelu. GPTQ kwantyzuje wagi warstwa po warstwie i koryguje pozostałe wagi, aby skompensować wcześniejsze błędy. Biblioteka transformers opiera się obecnie na GPT-QModel jako silniku GPTQ. AWQ, czyli Activation-aware Weight Quantization, identyfikuje ważne wagi na podstawie reprezentatywnych aktywacji, a następnie szuka współczynników skali, które je chronią przed kwantyzacją do niskiej precyzji. Dla tej metody tutorial wykorzystuje implementację referencyjną llm-awq, której należy przestrzegać instrukcji instalacji, oraz model TinyLlama/TinyLlama-1.1B-Chat-v1.0. Poszukiwanie parametrów opiera się na 128 próbkach z części walidacyjnej mit-han-lab/pile-val-backup, wytrenowanych w sekwencjach po 512 tokenów.

Format GGUF, używany w ekosystemie llama.cpp, służy jako kontener dla metadanych, tokenizera i skwantyzowanych tensorów, ale sam w sobie nie jest algorytmem kwantyzacji. Przepływ przebiega w dwóch krokach: konwersja oryginalnego modelu do GGUF w wysokiej precyzji, w bfloat16, a następnie kwantyzacja z typem Q4_K_M. Typ ten jest mieszany, ponieważ używa różnych kodowań dla różnych tensorów. Jego rozmiar pliku nie odpowiada więc dokładnie czterem bitom na parametr. Tutorial przypomina, że należy kwantyzować z najlepszego dostępnego źródła, ponieważ ponowna kwantyzacja kumuluje błędy aproksymacji.

Według tutoriala, ocena powinna dotyczyć reprezentatywnych danych wejściowych, z użyciem perplexity, dokładności w docelowych zadaniach oraz porównania generacji obok siebie. Dostarczony skrypt mierzy, na GPU CUDA, szczytowo zaalokowaną pamięć i medianę czasu generacji modelu FP16 oraz wersji GPTQ modelu facebook/opt-125m. Tutorial podsumowuje, że kwantyzacja jest użyteczna tylko wtedy, gdy format, schemat numeryczny, układ skompresowanych danych i jądro inferencji działają razem.

S’abonner
Notification pour
guest

0 Commentaires
Le plus ancien
Le plus récent Le plus populaire
0
Nous aimerions avoir votre avis, veuillez laisser un commentaire.x