Специализированные модели, полученные путем дообучения общих моделей с открытым исходным кодом, таких как Qwen или Gemma, наследуют словарь, созданный для множества областей. По данным Dharma AI, метод под названием VocabX, который перестраивает этот словарь в зависимости от стоимости каждого токена, позволил снизить затраты на инференс на 77% при измерении на работающем сервисе проверки эссе, без изменения базовой модели.
Этот автоматический корректор, построенный на Qwen3-4B, оценивает эссе на португальском языке. Он получает эссе, тему и вспомогательные тексты, а затем возвращает оценку в формате JSON, с баллом и комментарием по каждому критерию. Модель, насчитывающая 4 миллиарда параметров, уже была обучена для этой задачи, но сохраняла исходный токенизатор — инструмент, который разбивает текст на токены, единицы, которые модель читает и пишет. Этот токенизатор был рассчитан на множество языков и типов текстов.
Для столь узкого применения этот выбор создавал два вида дополнительных затрат. С одной стороны, постоянно повторяющиеся элементы, такие как оболочка JSON или названия критериев, разбивались на несколько токенов там, где хватило бы одного. С другой стороны, при генерации каждого токена модель вычисляла оценку для всех 151 669 записей в словаре, многие из которых почти никогда не используются в данной задаче.
Писать дороже, чем читать
Во время инференса фаза генерации является самой затратной. В измеренном случае сгенерированный токен стоит в 7,4 раза дороже, чем прочитанный, но это соотношение варьируется в зависимости от оборудования, задачи, размера пакетов запросов и длины контекста. После сокращения словаря выходной слой корректора уменьшился примерно со 152 000 до примерно 65 000 строк.
VocabX не отбирает токены по частоте, как это делают несколько эталонных методов, включая расширение токенизатора на месте. Каждый удаляемый токен взвешивается по ценности поля, в котором он появляется: системный промпт, сообщение пользователя или ответ модели. В случае с корректором токен, сэкономленный в ответе, стоит, таким образом, в 7,4 раза больше, чем токен, сэкономленный во входных данных.
Выборка, которая видит не всё
Метод также опирается на пять инструментов поиска повторяющихся последовательностей, каждый из которых специализируется на определенном типе повторений: длинные слова, целые строки, выражения, полные предложения или структурированные элементы вроде JSON. Согласно статье, без этих пяти инструментов сокращение количества токенов для корректора снизилось бы на 55,6 процентных пункта.
Оценивать каждого кандидата на всем корпусе было бы слишком дорого. Поэтому авторы проводят измерения на выборке, но выражение, встречающееся 37 раз в 50 000 документах, присутствует только примерно в 26% выборок по 400 документов. Для кандидатов, отсутствующих в выборке, VocabX использует статистическую оценку вместо нулевого значения. На корпусе контрактов одно только это изменение увеличило сокращение токенов с 44,7% до 52,8% при той же выборке и том же бюджете.
Результаты, измеренные на корректоре
Для измерения реального эффекта семь версий корректора были обучены на одной модели, одних данных и с одинаковыми настройками, менялся только токенизатор. 500 тестовых запросов были выполнены на карте RTX 5090 с использованием сервера инференса vLLM. Средний размер ответа сократился с 350 до 101 токена, стоимость снизилась на 77,0%, а эталонный показатель, объединяющий точность оценок и точность фильтрации нерелевантных или несоответствующих текстов, вырос с 0,703 до 0,810.
Первая версия, которая объединяла оценку по каждому критерию с окружающим JSON, была более компактной, но менее точной, с показателем 0,689. Выделение оценки в отдельный токен добавило 2 токена на ответ, одновременно улучшив показатель и снизив стоимость на 77,0% против 73,3% у объединенной версии. Авторы делают вывод: сжатие имеет свою цену, когда оно затрагивает само решение, которое должна принять модель.
На пяти публичных доменах и трех семействах моделей VocabX сократил количество токенов сильнее, чем лучший эталонный метод во всех пятнадцати протестированных комбинациях, с разницей от 1,2 до 9,3 процентных пункта. Приведенные цифры взяты из текущей версии статьи, которая все еще находится на стадии рецензирования, и могут измениться перед публикацией. Полная статья должна выйти в ближайшее время.
