Aktywacja i kwantyzacja w zmiennoprzecinkowej : podstawy, które trzeba znać

Aktywacja i kwantyzacja w zmiennoprzecinkowej : podstawy, które trzeba znać
3 min czytania

Kwantyzacja aktywacji, czyli wartości obliczanych podczas wnioskowania modelu językowego, okazuje się trudniejsza niż kwantyzacja wag, które są ustalone po treningu. Jak wynika z artykułu w Machine Learning Mastery, metoda SmoothQuant i format FP8 oferują dwa rozwiązania tego problemu, a biblioteka LLM Compressor z projektu vLLM pozwala je zastosować.

Dlaczego aktywacje są trudne do skwantyzowania

Wagi sieci są stałe po zakończeniu treningu: można je skwantyzować raz, przed wdrożeniem. Aktywacje natomiast zależą od przetwarzanego tokenu, jego pozycji w sekwencji i poprzednich warstw. Ich zakresy wartości mogą się zmieniać między zapytaniami, a niektóre kanały mogą zawierać uporczywe wartości ekstremalne.

Istnieją dwa podejścia. Kwantyzacja statyczna wykorzystuje skale obliczone podczas fazy kalibracji, co jest szybkie, ale dane wejściowe spoza skalibrowanego zakresu mogą zostać obcięte. Kwantyzacja dynamiczna mierzy każdy tensor w czasie wykonania: dostosowuje się do każdego wejścia, ale dodaje koszt obliczeniowy. Artykuł przedstawia m.in. kwantyzację dynamiczną per token, w INT8 symetrycznym ze znakiem, gdzie każdy wektor w wymiarze końcowym otrzymuje własną skalę.

Wybór zakresu również stawia przed dylematem. Obejmienie wszystkich wartości powoduje, że krok kwantyzacji jest gruby dla typowych wartości, podczas gdy obcięcie poprawia ich precyzję kosztem wartości ekstremalnych. Najlepsza opcja zależy od tego, jak kolejne wagi wykorzystują ten wektor.

SmoothQuant i format W8A8

Skrót W8A8 oznacza wagi i aktywacje w INT8 do mnożenia macierzowego. Gdy sprzęt efektywnie obsługuje te obliczenia całkowite, taka konfiguracja może zmniejszyć transfery pamięci i zwiększyć przepustowość obliczeniową. Obciążenia, normalizacja lub reszty mogą pozostać w wyższej precyzji.

SmoothQuant radzi sobie z wartościami ekstremalnymi, przenosząc część trudności z aktywacji na wagi. Zasada opiera się na matematycznie równoważnej transformacji przed kwantyzacją: ważne kanały aktywacji są dzielone przez większe skale, podczas gdy odpowiadające im kolumny wag są mnożone przez te same skale. Artykuł precyzuje, że ta transformacja jedynie pokazuje dokładną równoważność, a rzeczywista implementacja wyprowadza skale z wielkości wag i aktywacji kalibracyjnych.

Autor wskazuje, że konfiguracja W8A8 nie jest z góry szybsza niż format W4A16 czy BF16. W8A8 może wykorzystać obliczenia macierzowe całkowite, szczególnie podczas prefill i dla dużych batchy, podczas gdy W4A16 odczytuje mniej bajtów wag i może być odpowiedni do dekodowania z małymi batchami. Artykuł zaleca zmierzenie obu faz.

Kwantyzacja w zmiennoprzecinkowa

FP8 nie polega po prostu na odjęciu bitów od wartości FP32. W schemacie FP8 ze skalowaniem tensor jest dzielony przez skalę, a następnie każdy wynik jest zaokrąglany do reprezentowalnej wartości FP8. W przeciwieństwie do INT8, wartości FP8 nie są rozmieszczone równomiernie: są drobniejsze blisko zera i bardziej rozrzucone dla dużych wartości.

Artykuł wyróżnia m.in. E4M3, z czterema bitami wykładnika i trzema bitami mantysy, oraz E5M2, z pięcioma bitami wykładnika i dwoma bitami mantysy. E4M3 oferuje większą precyzję, podczas gdy E5M2 oferuje szerszy zakres. Wybór zależy od sprzętu i silnika wnioskowania.

Przepis LLM Compressor o nazwie FP8_DYNAMIC konwertuje model do formatu Hugging Face, kwantyzując wagi przez zaokrąglenie do najbliższej i obliczając skale aktywacji podczas wnioskowania. Proponowana jest również wariant łączący SmoothQuant i FP8. Według artykułu obecne wersje vLLM obsługują FP8 na GPU NVIDIA Ada Lovelace, Hopper i Blackwell, a także na niektórych akceleratorach AMD, i zaleca sprawdzenie macierzy kompatybilności dla docelowego sprzętu.

S’abonner
Notification pour
guest

0 Commentaires
Le plus ancien
Le plus récent Le plus populaire
0
Nous aimerions avoir votre avis, veuillez laisser un commentaire.x