Modele wyspecjalizowane, uzyskane poprzez dostrojenie ogólnych modeli open source, takich jak Qwen czy Gemma, dziedziczą słownictwo zaprojektowane dla wielu dziedzin. Zdaniem Dharma AI, metoda o nazwie VocabX, która przebudowuje to słownictwo w oparciu o koszt każdego tokena, pozwoliła zmniejszyć o 77% koszt inferencji mierzony na produkcyjnym systemie korekty esejów, bez modyfikacji podstawowego modelu.
Ten automatyczny korektor, zbudowany na Qwen3-4B, ocenia eseje w języku portugalskim. Otrzymuje esej, temat i teksty pomocnicze, a następnie zwraca ocenę w formacie JSON, z oceną i komentarzem dla każdej umiejętności. Model, który ma 4 miliardy parametrów, był już wcześniej trenowany do tego zadania, ale zachował oryginalny tokenizer, czyli narzędzie dzielące tekst na tokeny – jednostki, które model czyta i zapisuje. Ten tokenizer był przeznaczony dla wielu języków i wielu rodzajów tekstów.
Dla tak wąskiej aplikacji wybór ten generował dwa rodzaje dodatkowych kosztów. Z jednej strony, elementy powtarzające się nieustannie, jak otoczka JSON czy nazwy umiejętności, były dzielone na wiele tokenów, podczas gdy wystarczyłby jeden. Z drugiej strony, przy każdym generowanym tokenie model obliczał wynik dla 151 669 pozycji słownictwa, z których wiele niemal nigdy nie jest używanych w tym zadaniu.
Pisanie kosztuje więcej niż czytanie
Podczas inferencji faza generowania jest najdroższa. W zmierzonym przypadku wygenerowany token kosztuje 7,4 razy więcej niż token odczytany, ale ten współczynnik różni się w zależności od sprzętu, problemu, rozmiaru partii żądań i długości kontekstu. Po zmniejszeniu słownictwa warstwa wyjściowa korektora zmniejszyła się z około 152 000 do około 65 000 wierszy.
VocabX nie wybiera tokenów na podstawie ich częstotliwości, jak robi to kilka metod referencyjnych, w tym rozszerzanie tokenizera w miejscu. Każdy usunięty token jest ważony ceną pola, w którym się pojawia: prompt systemowy, wiadomość użytkownika lub odpowiedź modelu. W przypadku korektora token zaoszczędzony w odpowiedzi jest więc wart 7,4 razy więcej niż token zaoszczędzony w wejściu.
Próbka, która nie widzi wszystkiego
Metoda opiera się również na pięciu narzędziach wyszukiwania powtarzających się sekwencji, każde specjalizujące się w innym typie powtórzeń: długie słowa, całe linie, wyrażenia, pełne zdania lub struktury z interpunkcją jak JSON. Według artykułu, bez tych pięciu narzędzi redukcja tokenów w korektorze spadłaby o 55,6 punktów procentowych.
Ocenianie każdego kandydata na całym korpusie byłoby zbyt kosztowne. Autorzy mierzą więc na próbce, ale wyrażenie pojawiające się 37 razy w 50 000 dokumentów występuje tylko w około 26% próbek 400-dokumentowych. Dla kandydatów nieobecnych w próbce VocabX używa szacunku statystycznego zamiast wartości zerowej. Na korpusie kontraktów sama ta zmiana zwiększyła redukcję tokenów z 44,7% do 52,8%, przy tej samej próbce i tym samym budżecie.
Wyniki zmierzone na korektorze
Aby zmierzyć rzeczywisty efekt, wytrenowano siedem wersji korektora z tym samym modelem, danymi i ustawieniami, zmieniając tylko tokenizer. 500 żądań testowych wykonano na karcie RTX 5090 z serwerem inferencji vLLM. Średnia odpowiedź zmniejszyła się z 350 do 101 tokenów, koszt spadł o 77,0%, a wynik referencyjny, łączący dokładność ocen i filtrowania tekstów nie na temat lub niezgodnych, wzrósł z 0,703 do 0,810.
Pierwsza wersja, która łączyła ocenę każdej umiejętności z otaczającym JSON, była bardziej zwarta, ale mniej dokładna, z wynikiem 0,689. Nadanie ocenie własnego tokena dodało 2 tokeny na odpowiedź, jednocześnie poprawiając wynik i zmniejszając koszt o 77,0%, w porównaniu do 73,3% dla wersji łączonej. Autorzy wyciągają z tego lekcję: kompresja ma swoją cenę, gdy obejmuje samą decyzję, którą model musi podjąć.
W pięciu domenach publicznych i trzech rodzinach modeli VocabX zredukował liczbę tokenów bardziej niż najlepsza metoda referencyjna we wszystkich piętnastu testowanych kombinacjach, z różnicą od 1,2 do 9,3 punktów procentowych. Przedstawione liczby pochodzą z aktualnej wersji artykułu, nadal będącej w ocenie, i mogą ulec zmianie przed publikacją. Pełny artykuł ma się ukazać wkrótce.
