Spezialisierte Modelle, die durch Feinabstimmung allgemeiner Open-Source-Modelle wie Qwen oder Gemma entstehen, erben ein Vokabular, das für viele Bereiche konzipiert ist. Laut Dharma AI hat eine Methode namens VocabX, die dieses Vokabular basierend auf den Kosten jedes Tokens neu aufbaut, die Inferenzkosten in einem produktiven Aufsatz-Korrektor um 77 % gesenkt, ohne das Basismodell zu verändern.
- VocabX baut das Vokabular kleiner Sprachmodelle anhand der Kosten jedes Tokens neu auf.
- Ein Aufsatz-Korrektor auf Basis von Qwen3-4B senkt seine Inferenzkosten dadurch um 77 %.
- Das Basismodell bleibt unverändert, und Tokens werden nach ihrem Einsatzfeld gewichtet.
- Die Zahlen stammen aus einer noch nicht begutachteten Version des Artikels und können sich ändern.
Dieser automatische Korrektor, basierend auf Qwen3-4B, bewertet Aufsätze auf Portugiesisch. Er erhält den Aufsatz, das Thema und die unterstützenden Texte und gibt eine Bewertung im JSON-Format zurück, mit einer Note und einem Kommentar für jede Kompetenz. Das Modell mit 4 Milliarden Parametern war bereits für diese Aufgabe trainiert worden, behielt aber den ursprünglichen Tokenizer, also das Werkzeug, das Text in Tokens zerlegt – die Einheiten, die das Modell liest und schreibt. Dieser Tokenizer war für viele Sprachen und Textarten vorgesehen.
Für eine so spezifische Anwendung verursachte diese Wahl zwei Arten von Mehrkosten. Einerseits wurden ständig wiederkehrende Elemente wie die JSON-Hülle oder die Namen der Kompetenzen in mehrere Tokens zerlegt, wo einer ausgereicht hätte. Andererseits berechnete das Modell bei jedem generierten Token einen Score für die 151.669 Einträge im Vokabular, von denen viele für die Aufgabe fast nie gebraucht werden.
Schreiben kostet mehr als Lesen
Während der Inferenz ist die Generierungsphase die teuerste. Im gemessenen Fall kostet ein generierter Token 7,4-mal mehr als ein gelesener Token, aber dieses Verhältnis variiert je nach Hardware, Problemstellung, Batch-Größe und Kontextlänge. Nach der Verkleinerung des Vokabulars reduzierte sich die Ausgabeschicht des Korrektors von etwa 152.000 auf etwa 65.000 Zeilen.
VocabX wählt Tokens nicht nach ihrer Häufigkeit aus, wie es mehrere Referenzmethoden tun, darunter die Tokenizer-Erweiterung an Ort und Stelle. Jeder entfernte Token wird mit den Kosten des Feldes gewichtet, in dem er erscheint: System-Prompt, Benutzernachricht oder Modellantwort. Beim Korrektor ist ein eingesparter Token in der Antwort also 7,4-mal so viel wert wie ein eingesparter Token in der Eingabe.
Eine Stichprobe, die nicht alles sieht
Die Methode stützt sich auch auf fünf Werkzeuge zur Suche nach wiederholten Sequenzen, jedes spezialisiert auf einen Wiederholungstyp: lange Wörter, ganze Zeilen, Ausdrücke, vollständige Sätze oder strukturierte Formate wie JSON. Laut Artikel würde ohne diese fünf Werkzeuge die Token-Reduktion beim Korrektor um 55,6 Prozentpunkte sinken.
Jeden Kandidaten auf dem gesamten Korpus zu bewerten, wäre zu teuer. Die Autoren messen daher an einer Stichprobe, aber ein Ausdruck, der 37-mal in 50.000 Dokumenten vorkommt, erscheint nur in etwa 26 % der Stichproben mit 400 Dokumenten. Für Kandidaten, die nicht in der Stichprobe enthalten sind, verwendet VocabX eine statistische Schätzung anstelle eines Nullwerts. Bei einem Korpus von Verträgen erhöhte diese alleinige Änderung die Token-Reduktion von 44,7 % auf 52,8 %, bei gleicher Stichprobe und gleichem Budget.
Am Korrektor gemessene Ergebnisse
Um den tatsächlichen Effekt zu messen, wurden sieben Versionen des Korrektors mit demselben Modell, denselben Daten und derselben Parametrierung trainiert, wobei nur der Tokenizer variierte. Die 500 Testanfragen wurden auf einer RTX 5090 mit dem vLLM-Inferenzserver ausgeführt. Die durchschnittliche Antwort sank von 350 auf 101 Tokens, die Kosten reduzierten sich um 77,0 %, und der Referenz-Score, der die Genauigkeit der Noten und die Filterung von themenfremden oder nicht konformen Texten kombiniert, stieg von 0,703 auf 0,810.
Eine erste Version, die die Note jeder Kompetenz mit dem umgebenden JSON verschmolz, war kompakter, aber weniger präzise, mit einem Score von 0,689. Der Note einen eigenen Token zu geben, fügte 2 Tokens pro Antwort hinzu, verbesserte aber den Score und reduzierte die Kosten um 77,0 %, gegenüber 73,3 % bei der verschmolzenen Version. Die Autoren ziehen daraus eine Lehre: Kompression hat ihren Preis, wenn sie die eigentliche Entscheidung betrifft, die das Modell treffen muss.
Bei fünf öffentlichen Domänen und drei Modellfamilien reduzierte VocabX die Tokenzahl stärker als die beste Referenzmethode in allen fünfzehn getesteten Kombinationen, mit einer Differenz von 1,2 bis 9,3 Punkten. Die vorgestellten Zahlen stammen aus der aktuellen Version des Artikels, der noch begutachtet wird, und könnten sich vor der Veröffentlichung ändern. Der vollständige Artikel soll demnächst erscheinen.
