Los modelos especializados, obtenidos al afinar modelos generalistas de código abierto como Qwen o Gemma, heredan un vocabulario diseñado para muchos dominios. Según Dharma AI, un método llamado VocabX, que reconstruye este vocabulario según el costo de cada token, permitió reducir en un 77 % el costo de inferencia medido en un corrector de ensayos en producción, sin modificar el modelo base.
- VocabX reconstruye el vocabulario según el costo de cada token, sin modificar el modelo base.
- En un corrector de ensayos, reduce el costo de inferencia un 77 %, y la respuesta pasa de 350 a 101 tokens.
- El método pondera cada token según el campo donde aparece, porque generar un token cuesta 7,4 veces más que leerlo.
- Los resultados siguen en evaluación y podrían cambiar antes de la publicación del artículo completo.
Este corrector automático, construido sobre Qwen3-4B, califica ensayos en portugués. Recibe el ensayo, el tema y los textos de apoyo, luego devuelve una evaluación en formato JSON, con una nota y un comentario para cada competencia. El modelo, que tiene 4 mil millones de parámetros, ya había sido entrenado para esta tarea, pero conservaba el tokenizador original, es decir, la herramienta que divide el texto en tokens, las unidades que lee y escribe el modelo. Este tokenizador estaba previsto para muchos idiomas y muchos tipos de textos.
Para una aplicación tan específica, esta elección generaba dos tipos de sobrecostos. Por un lado, los elementos que reaparecen constantemente, como la envoltura JSON o los nombres de las competencias, se dividían en varios tokens donde uno solo habría bastado. Por otro lado, en cada token generado, el modelo calculaba una puntuación para las 151 669 entradas del vocabulario, muchas de las cuales casi nunca se usan para la tarea.
Escribir cuesta más que leer
Durante la inferencia, la fase de generación es la más costosa. En el caso medido, un token generado cuesta 7,4 veces más que un token leído, pero esta proporción varía según el hardware, el problema, el tamaño de los lotes de solicitudes y la longitud del contexto. Una vez reducido el vocabulario, la capa de salida del corrector pasó de aproximadamente 152 000 a aproximadamente 65 000 líneas.
VocabX no selecciona los tokens según su frecuencia, como lo hacen varios métodos de referencia, incluida la expansión de tokenizador en lugar. Cada token eliminado se pondera por el precio del campo donde aparece: prompt del sistema, mensaje del usuario o respuesta del modelo. En el caso del corrector, un token ahorrado en la respuesta vale por tanto 7,4 veces un token ahorrado en la entrada.
Una muestra que no ve todo
El método también se basa en cinco herramientas de búsqueda de secuencias repetidas, cada una especializada en un tipo de repetición: palabras largas, líneas enteras, expresiones, frases completas o estructuras puntuadas como el JSON. Según el artículo, sin estas cinco herramientas, la reducción de tokens en el corrector bajaría en 55,6 puntos.
Evaluar cada candidato en todo el corpus sería demasiado costoso. Los autores miden entonces en una muestra, pero una expresión que aparece 37 veces en 50 000 documentos solo figura en aproximadamente el 26 % de las muestras de 400 documentos. Para los candidatos ausentes de la muestra, VocabX utiliza una estimación estadística en lugar de un valor nulo. En un corpus de contratos, solo este cambio llevó la reducción de tokens del 44,7 % al 52,8 %, con la misma muestra y el mismo presupuesto.
Resultados medidos en el corrector
Para medir el efecto real, se entrenaron siete versiones del corrector con el mismo modelo, los mismos datos y la misma configuración, solo cambiando el tokenizador. Las 500 solicitudes de prueba se ejecutaron en una tarjeta RTX 5090 con el servidor de inferencia vLLM. La respuesta promedio pasó de 350 a 101 tokens, el costo bajó un 77,0 % y la puntuación de referencia, que combina la precisión de las notas y la del filtrado de textos fuera de tema o no conformes, subió de 0,703 a 0,810.
Una primera versión, que fusionaba la nota de cada competencia con el JSON circundante, era más compacta pero menos precisa, con una puntuación de 0,689. Dar a la nota su propio token añadió 2 tokens por respuesta, mejorando la puntuación y reduciendo el costo en un 77,0 %, frente al 73,3 % de la versión fusionada. Los autores extraen una lección: la compresión tiene un precio cuando engloba la decisión misma que debe tomar el modelo.
En cinco dominios públicos y tres familias de modelos, VocabX redujo más el número de tokens que el mejor método de referencia en las quince combinaciones probadas, con una diferencia de 1,2 a 9,3 puntos. Las cifras presentadas provienen de la versión actual del artículo, aún en evaluación, y podrían cambiar antes de su publicación. El artículo completo debe publicarse próximamente.
