Kompresja modeli AI wykracza poza samą kwantyzację

Kompresja modeli AI wykracza poza samą kwantyzację
2 min czytania

Kwantyzacja nie jest jedynym sposobem kompresji modelu AI. Artykuł z Machine Learning Mastery przedstawia dwa inne podejścia, przycinanie i destylację wiedzy, które redukują liczbę wartości lub rozmiar struktur, a nie ich format. Mniejszy model może przyspieszyć wnioskowanie, pod warunkiem zachowania oczekiwanego przez aplikację zachowania.

Kwantyzacja zmienia sposób reprezentacji wartości modelu. Przycinanie natomiast zeruje niektóre parametry lub usuwa szersze struktury. Destylacja uczy mały model, zwany « uczniem », do odtwarzania zachowania większego modelu, zwanego « nauczycielem ».

Przycinanie i rzadkość

Metoda zwana « według wielkości » opiera się na prostej hipotezie: wagi o małej wartości bezwzględnej miałyby mniejszy wpływ na wynik. Przykład kodu stosuje tę zasadę do macierzy 1024 × 1024 ze współczynnikiem 0,5, czyli połową wag przeznaczonych do usunięcia.

Przycięta macierz jest jednak nadal przechowywana w sposób gęsty. Format CSR (compressed sparse row) zachowuje tylko wartości niezerowe wraz z metadanymi pozycji. Według artykułu zmniejsza on pamięć tylko wtedy, gdy te metadane kosztują mniej niż usunięte dane, i przyspiesza obliczenia tylko wtedy, gdy kształt macierzy, poziom rzadkości, typ danych oraz sprzęt dysponują wydajnym jądrem obliczeń rzadkich.

Strukturalne przycinanie i destylacja

Strukturalne przycinanie usuwa całe jednostki, takie jak głowy uwagi, kanały MLP, warstwy lub bloki. Wynik często można wyrazić w postaci mniejszego, gęstszego modelu, łatwiejszego do przyspieszenia na różnych urządzeniach. W MLP transformatora każdy kanał pośredni jest produkowany przez wiersz projekcji w górę i konsumowany przez kolumnę projekcji w dół: usunięcie jednego wymaga usunięcia drugiego.

Artykuł wyjaśnia, że parametr keep_channels oznacza liczbę kanałów, a nie ułamek. Ustawienie go na 2048 redukuje zatem pośrednią szerokość z 8192 do 2048 kanałów. Kod zapewnia zgodność kształtów tensorów, ale nie dowodzi, że zachowane kanały są najmniej ważne: rzeczywista metoda ocenia wyjścia warstw i przeprowadza dostrajanie odzyskiwania. Usunięcie głów uwagi wymaga skoordynowanych modyfikacji, a w przypadku GQA, wariantu, w którym wiele głów zapytań współdzieli tę samą głowę KV, arbitralne usunięcie może zerwać te grupowania.

Destylacja natomiast uczy ucznia na podstawie sygnałów od nauczyciela: rozkładu wyjścia, reprezentacji pośrednich lub wygenerowanych danych. Strata opiera się na temperaturze T i rozbieżności Kullbacka-Leiblera, zerowej, gdy oba rozkłady się pokrywają. Przykład kodu trenuje dwa małe modele typu GPT-2, zainicjowane losowo, w jednym kroku. Artykuł wyjaśnia, że nie produkuje to użytecznego modelu: rzeczywisty eksperyment wymaga wcześniej wytrenowanego nauczyciela i reprezentatywnego tekstu.

Dla poważnego porównania artykuł zaleca zmierzenie, na tych samych zapytaniach i tym samym sprzęcie, jakości na odseparowanych danych, rozmiaru parametrów w bajtach, maksymalnej pamięci, opóźnienia wstępnego wypełniania i przepustowości dekodowania. Przycinanie lub destylacja mogą zmienić zachowanie modelu, nawet gdy liczba parametrów znacznie spada.

S’abonner
Notification pour
guest

0 Commentaires
Le plus ancien
Le plus récent Le plus populaire
0
Nous aimerions avoir votre avis, veuillez laisser un commentaire.x