Gespecialiseerde modellen, verkregen door het finetunen van algemene open-sourcemodellen zoals Qwen of Gemma, erven een vocabulaire dat is ontworpen voor vele domeinen. Volgens Dharma AI heeft een methode genaamd VocabX, die dit vocabulaire herbouwt op basis van de kosten van elke token, de inferentiekosten met 77% verlaagd bij een in productie genomen essaycorrector, zonder het basismodel aan te passen.
- VocabX herbouwt het vocabulaire van een gespecialiseerd taalmodel op basis van de kosten per token.
- Bij een Portugese essaycorrector daalden de inferentiekosten met 77%, zonder het basismodel aan te passen.
- Tokens in antwoorden wegen zwaarder, omdat genereren 7,4 keer duurder is dan lezen.
- De score steeg van 0,703 naar 0,810, maar het artikel is nog niet definitief.
Deze automatische corrector, gebouwd op Qwen3-4B, beoordeelt essays in het Portugees. Hij ontvangt de essay, het onderwerp en de ondersteunende teksten, en geeft vervolgens een evaluatie terug in JSON-formaat, met een score en een opmerking voor elke vaardigheid. Het model, dat 4 miljard parameters telt, was al getraind voor deze taak, maar behield de originele tokenizer, het hulpmiddel dat tekst opsplitst in tokens, de eenheden die het model leest en schrijft. Deze tokenizer was bedoeld voor vele talen en vele soorten teksten.
Voor een dergelijke specifieke toepassing leverde deze keuze twee soorten meerkosten op. Enerzijds werden elementen die voortdurend terugkeren, zoals de JSON-envelop of de namen van de vaardigheden, opgesplitst in meerdere tokens waar één voldoende zou zijn geweest. Anderzijds berekende het model bij elke gegenereerde token een score voor de 151.669 ingangen van het vocabulaire, waarvan vele bijna nooit voor de taak worden gebruikt.
Schrijven kost meer dan lezen
Tijdens inferentie is de generatiefase het duurst. In het gemeten geval kost een gegenereerde token 7,4 keer meer dan een gelezen token, maar deze verhouding varieert afhankelijk van de hardware, het probleem, de batchgrootte van de verzoeken en de contextlengte. Nadat het vocabulaire was verkleind, ging de uitvoerlaag van de corrector van ongeveer 152.000 naar ongeveer 65.000 regels.
VocabX selecteert tokens niet op basis van hun frequentie, zoals verschillende referentiemethoden doen, waaronder tokenizer-expansie in plaats. Elke verwijderde token wordt gewogen naar de prijs van het veld waarin hij voorkomt: systeemprompt, gebruikersbericht of antwoord van het model. In het geval van de corrector is een token bespaard in het antwoord dus 7,4 keer een token bespaard in de invoer waard.
Een steekproef die niet alles ziet
De methode steunt ook op vijf tools voor het vinden van herhalende sequenties, elk gespecialiseerd in een type herhaling: lange woorden, volledige regels, uitdrukkingen, volledige zinnen, of gestructureerde elementen zoals JSON. Volgens het artikel zou zonder deze vijf tools de tokenreductie bij de corrector met 55,6 punten dalen.
Elke kandidaat evalueren op de hele corpus zou te kostbaar zijn. De auteurs meten daarom op een steekproef, maar een uitdrukking die 37 keer voorkomt in 50.000 documenten staat slechts in ongeveer 26% van de steekproeven van 400 documenten. Voor kandidaten die afwezig zijn in de steekproef gebruikt VocabX een statistische schatting in plaats van een nulwaarde. Op een corpus van contracten heeft deze ene wijziging de tokenreductie van 44,7% naar 52,8% gebracht, met dezelfde steekproef en hetzelfde budget.
Resultaten gemeten op de corrector
Om het werkelijke effect te meten, zijn zeven versies van de corrector getraind met hetzelfde model, dezelfde data en dezelfde instellingen, waarbij alleen de tokenizer veranderde. De 500 testverzoeken werden uitgevoerd op een RTX 5090-kaart met de vLLM-inferentieserver. Het gemiddelde antwoord ging van 350 naar 101 tokens, de kosten daalden met 77,0%, en de referentiescore, die de nauwkeurigheid van de scores combineert met die van het filteren van off-topic of niet-conforme teksten, steeg van 0,703 naar 0,810.
Een eerste versie, die de score van elke vaardigheid samenvoegde met de omringende JSON, was compacter maar minder nauwkeurig, met een score van 0,689. Het geven van de score een eigen token voegde 2 tokens per antwoord toe, terwijl het de score verbeterde en de kosten met 77,0% verlaagde, tegenover 73,3% voor de samengevoegde versie. De auteurs trekken hieruit een les: compressie heeft een prijs wanneer het de beslissing zelf omvat die het model moet nemen.
Op vijf publieke domeinen en drie modelfamilies heeft VocabX het aantal tokens meer verminderd dan de beste referentiemethode in de vijftien geteste combinaties, met een verschil van 1,2 tot 9,3 punten. De gepresenteerde cijfers komen uit de huidige versie van het artikel, dat nog in evaluatie is, en kunnen veranderen voor publicatie. Het volledige artikel zal binnenkort verschijnen.
