Hugging Face представляет модели принятия решений — семейство моделей, которые не пишут ответ, а оценивают предопределенные варианты и возвращают распределение вероятностей по этим вариантам. Компания стремится определить общий интерфейс для таких моделей, не навязывая единую архитектуру.
Большие языковые модели (LLM), которые генерируют ответ токен за токеном, то есть фрагмент текста за фрагментом, очень эффективны для написания текстов, программирования или рассуждений. Но не все проблемы требуют генерации текста. Возьмем систему поддержки клиентов, которая получает следующее сообщение: «С меня дважды списали плату за подписку. Мне нужен возврат средств сегодня». Она должна определить, какая команда должна обработать запрос, степень его срочности и требует ли клиент возврата средств.
Можно попросить LLM вернуть эти ответы в виде JSON-объекта. Этот подход уже широко распространен для классификации и маршрутизации, но имеет несколько ограничений. Модель не гарантирует соблюдение запрошенной схемы: она может выдать невалидный JSON, добавить неожиданные ключи или ответить вне разрешенных вариантов. Библиотеки ограниченного декодирования, такие как Outlines и XGrammar, снижают этот риск, ограничивая разрешенные токены на каждом шаге, но они добавляют дополнительную работу. Наконец, когда приложению нужно лишь выбрать из известных ответов, полная генерация текста может быть излишней.
Интерфейс на основе вероятностей
Модель принятия решений получает состояние, то есть информацию для оценки, и список вопросов. Она возвращает решения с вероятностями. Источник выделяет три типа вопросов. Тип choice выбирает один вариант из нескольких. Тип score оценивает что-либо по упорядоченной шкале. Тип noul отвечает на вопрос да/нет в вероятностной форме.
В представленном примере модель autotrust/GEV-26B-Decide присваивает вопросу службы поддержки следующие вероятности: Billing 0,998, Technical support 0,001 и Sales 0,001. Для срочности уровни low, medium и high получают соответственно 0,10, 0,26 и 0,72. Возвращаемый балл соответствует математическому ожиданию этого распределения, то есть 1,7, а не выбранному наполовину уровню. На вопрос «Требует ли клиент возврата средств?» модель напрямую возвращает вероятность положительного ответа, здесь 0,92.
Понятие уверенности, вычисляемое для вопросов типа choice и score, суммирует концентрацию этих вероятностей. Концепция не совсем нова: компания TypeSafe AI представляла Jev, названную моделью «System One». Термин «модель принятия решений» в итоге был принят сообществом, поскольку он описывает вычислительную роль модели, не отсылая к какой-либо конкретной теории познания.
Формирующаяся экосистема
Новый формат уже поддерживается несколькими инструментами. Библиотека Transformers предлагает DecisionPipeline, класс AutoModelForDecision и класс DecisionConfig, а также конечную точку /v1/systemone после запуска локального сервера. Движок вывода llama.cpp также принимает эти модели через тот же API. Источник упоминает модель ggml-org/Kev-4B-GGUF, обслуживаемую на порту 9931. Hub предлагает специальный тег decision-model, поскольку эти модели не обязательно разделяют одну архитектуру: некоторые основаны на энкодерах, таких как ModernBERT, другие — на более крупных генеративных моделях.
Разобравшись с выводом, источник переходит к обучению. Пример демонстрации дообучает модель autotrust/JEV-9B для маршрутизации запросов в поддержку с помощью API Trainer. Поддержка нативного обучения в TRL является предметом запроса на слияние, PR №8040, все еще открытого на момент написания статьи. Кроме того, Unsloth предлагает рецепт преобразования генеративной LLM, такой как Qwen, в модель принятия решений с помощью LoRA и скоринговой головки.
