Modelli specializzati, ottenuti affinando modelli open source generalisti come Qwen o Gemma, ereditano un vocabolario progettato per molti domini. Secondo Dharma AI, un metodo chiamato VocabX, che ricostruisce questo vocabolario in base al costo di ogni token, ha permesso di ridurre del 77% il costo di inferenza misurato su un correttore di saggi in produzione, senza modificare il modello di base.
- VocabX ricostruisce il vocabolario di un piccolo modello in base al costo di ogni token.
- Sul correttore di saggi Qwen3-4B, il costo di inferenza scende del 77%, senza modificare il modello di base.
- Il metodo pondera i token in base al campo in cui appaiono, perché generare un token costa 7,4 volte più di leggerlo.
- Le cifre sono provvisorie, poiché l’articolo è ancora in fase di valutazione.
Questo correttore automatico, costruito su Qwen3-4B, valuta saggi in portoghese. Riceve il saggio, l’argomento e i testi di supporto, poi restituisce una valutazione in formato JSON, con un voto e un commento per ogni competenza. Il modello, che conta 4 miliardi di parametri, era già stato addestrato per questo compito, ma conservava il tokenizer originale, cioè lo strumento che suddivide il testo in token, le unità che il modello legge e scrive. Questo tokenizer era previsto per molte lingue e molti tipi di testo.
Per un’applicazione così ristretta, questa scelta generava due tipi di costi aggiuntivi. Da un lato, gli elementi che ricorrono continuamente, come l’involucro JSON o i nomi delle competenze, venivano suddivisi in più token dove uno solo sarebbe bastato. Dall’altro, per ogni token generato, il modello calcolava un punteggio per le 151.669 voci del vocabolario, molte delle quali quasi mai utili per il compito.
Scrivere costa più che leggere
Durante l’inferenza, la fase di generazione è la più costosa. Nel caso misurato, un token generato costa 7,4 volte più di un token letto, ma questo rapporto varia a seconda dell’hardware, del problema, della dimensione dei batch di richieste e della lunghezza del contesto. Una volta ridotto il vocabolario, il livello di output del correttore è passato da circa 152.000 a circa 65.000 righe.
VocabX non seleziona i token in base alla loro frequenza, come fanno diversi metodi di riferimento, compresa l’espansione del tokenizer in place. Ogni token rimosso è ponderato in base al costo del campo in cui appare: prompt di sistema, messaggio utente o risposta del modello. Nel caso del correttore, un token risparmiato nella risposta vale quindi 7,4 volte un token risparmiato nell’input.
Un campione che non vede tutto
Il metodo si basa anche su cinque strumenti di ricerca di sequenze ripetute, ciascuno specializzato in un tipo di ripetizione: parole lunghe, righe intere, espressioni, frasi complete o strutture punteggiate come il JSON. Secondo l’articolo, senza questi cinque strumenti, la riduzione di token sul correttore scenderebbe di 55,6 punti.
Valutare ogni candidato sull’intero corpus sarebbe troppo costoso. Gli autori misurano quindi su un campione, ma un’espressione che appare 37 volte in 50.000 documenti figura solo in circa il 26% dei campioni di 400 documenti. Per i candidati assenti dal campione, VocabX utilizza una stima statistica piuttosto che un valore nullo. Su un corpus di contratti, questo solo cambiamento ha portato la riduzione di token dal 44,7% al 52,8%, con lo stesso campione e lo stesso budget.
Risultati misurati sul correttore
Per misurare l’effetto reale, sette versioni del correttore sono state addestrate con lo stesso modello, gli stessi dati e la stessa parametrizzazione, cambiando solo il tokenizer. Le 500 richieste di test sono state eseguite su una scheda RTX 5090 con il server di inferenza vLLM. La risposta media è passata da 350 a 101 token, il costo è sceso del 77,0% e il punteggio di riferimento, che combina la precisione dei voti e quella del filtraggio dei testi fuori tema o non conformi, è salito da 0,703 a 0,810.
Una prima versione, che fondeva il voto di ogni competenza con il JSON circostante, era più compatta ma meno precisa, con un punteggio di 0,689. Dare al voto il proprio token ha aggiunto 2 token per risposta, migliorando comunque il punteggio e riducendo il costo del 77,0%, contro il 73,3% della versione fusa. Gli autori ne traggono una lezione: la compressione ha un prezzo quando ingloba la decisione stessa che il modello deve prendere.
Su cinque domini pubblici e tre famiglie di modelli, VocabX ha ridotto maggiormente il numero di token rispetto al miglior metodo di riferimento nelle quindici combinazioni testate, con un divario da 1,2 a 9,3 punti. Le cifre presentate provengono dalla versione attuale dell’articolo, ancora in fase di valutazione, e potrebbero cambiare prima della pubblicazione. L’articolo completo dovrebbe essere pubblicato a breve.
