Modelos especializados, obtidos através do afinação de modelos generalistas de código aberto como o Qwen ou o Gemma, herdam um vocabulário concebido para muitos domínios. Segundo a Dharma AI, um método chamado VocabX, que reconstrói esse vocabulário em função do custo de cada token, permitiu reduzir em 77% o custo de inferência medido num corretor de dissertações em produção, sem modificar o modelo base.
- O VocabX reduz em 77% o custo de inferência de um corretor de dissertações, sem alterar o modelo base.
- O método reconstrói o vocabulário conforme o custo de cada token, dando mais peso aos tokens gerados.
- A pontuação de referência sobe de 0,703 para 0,810 nos testes com sete versões do corretor.
- Os números ainda estão em avaliação e podem mudar antes da publicação do artigo completo.
Este corretor automático, construído sobre o Qwen3-4B, avalia dissertações em português. Recebe a dissertação, o tema e os textos de apoio, e devolve uma avaliação em formato JSON, com uma nota e um comentário para cada competência. O modelo, que tem 4 mil milhões de parâmetros, já tinha sido treinado para esta tarefa, mas mantinha o tokenizer original, ou seja, a ferramenta que segmenta o texto em tokens, as unidades que o modelo lê e escreve. Este tokenizer estava previsto para muitas línguas e muitos tipos de texto.
Para uma aplicação tão restrita, esta escolha gerava dois tipos de custos adicionais. Por um lado, os elementos que surgem constantemente, como o envelope JSON ou os nomes das competências, eram segmentados em vários tokens onde um só teria bastado. Por outro lado, a cada token gerado, o modelo calculava uma pontuação para as 151 669 entradas do vocabulário, das quais muitas quase nunca são usadas na tarefa.
Escrever custa mais do que ler
Durante a inferência, a fase de geração é a mais dispendiosa. No caso medido, um token gerado custa 7,4 vezes mais do que um token lido, mas este rácio varia conforme o hardware, o problema, o tamanho dos lotes de pedidos e o comprimento do contexto. Uma vez reduzido o vocabulário, a camada de saída do corretor passou de cerca de 152 000 para cerca de 65 000 linhas.
O VocabX não seleciona os tokens pela sua frequência, como fazem vários métodos de referência, incluindo a expansão de tokenizer in place. Cada token eliminado é ponderado pelo preço do campo onde aparece: prompt do sistema, mensagem do utilizador ou resposta do modelo. No caso do corretor, um token poupado na resposta vale, portanto, 7,4 vezes um token poupado na entrada.
Uma amostra que não vê tudo
O método também assenta em cinco ferramentas de pesquisa de sequências repetidas, cada uma especializada num tipo de repetição: palavras longas, linhas inteiras, expressões, frases completas, ou estruturas pontuadas como o JSON. Segundo o artigo, sem estas cinco ferramentas, a redução de tokens no corretor diminuiria 55,6 pontos.
Avaliar cada candidato em todo o corpus seria demasiado dispendioso. Os autores medem, portanto, numa amostra, mas uma expressão que aparece 37 vezes em 50 000 documentos só figura em cerca de 26% das amostras de 400 documentos. Para os candidatos ausentes da amostra, o VocabX usa uma estimativa estatística em vez de um valor nulo. Num corpus de contratos, só esta alteração aumentou a redução de tokens de 44,7% para 52,8%, com a mesma amostra e o mesmo orçamento.
Resultados medidos no corretor
Para medir o efeito real, sete versões do corretor foram treinadas com o mesmo modelo, os mesmos dados e a mesma parametrização, mudando apenas o tokenizer. Os 500 pedidos de teste foram executados numa placa RTX 5090 com o servidor de inferência vLLM. A resposta média passou de 350 para 101 tokens, o custo diminuiu 77,0%, e a pontuação de referência, que combina a precisão das notas e a do filtragem de textos fora do tema ou não conformes, subiu de 0,703 para 0,810.
Uma primeira versão, que fundia a nota de cada competência com o JSON envolvente, era mais compacta mas menos precisa, com uma pontuação de 0,689. Dar à nota o seu próprio token adicionou 2 tokens por resposta, ao mesmo tempo que melhorou a pontuação e reduziu o custo em 77,0%, contra 73,3% para a versão fundida. Os autores tiram uma lição: a compressão tem um preço quando engloba a própria decisão que o modelo deve tomar.
Em cinco domínios públicos e três famílias de modelos, o VocabX reduziu mais o número de tokens do que o melhor método de referência nas quinze combinações testadas, com uma diferença de 1,2 a 9,3 pontos. Os números apresentados provêm da versão atual do artigo, ainda em processo de avaliação, e podem mudar antes da publicação. O artigo completo deve ser publicado em breve.
