Nace AI опубликовала открытые веса модели Drex Max v1, которую представляет как свою самую производительную модель для принятия решений. Теперь её можно запускать на оборудовании пользователя, включая некоторые Mac с чипами Apple Silicon.
По данным компании, опубликованная версия включает веса в формате bf16, файл в формате Q8_0 GGUF, контрольную точку с квантованием Q4, а также адаптированные версии llama.cpp и Ollama. Для разработчиков это возможность выполнять локально такие задачи, как маршрутизация, классификация или проверка правил.
Модель для принятия решений, а не генерации
Drex Max отвечает на вопросы в заданном контексте: состояние, представленное в виде текста, JSON или изображений, сопровождается именованными вопросами. Она возвращает вероятность для каждого варианта за один проход, ничего не генерируя. Вопросы могут быть с выбором из именованных вариантов, бинарными (да или нет) или с порядковой оценкой.
Nace AI приводит в пример маршрутизацию агентов, сортировку тикетов и проверку защитных механизмов. Модель имеет 27 миллиардов параметров в плотной архитектуре, с контекстным окном в 262 144 токена (16 384 по умолчанию) и поддержкой до 255 вариантов на вопрос. Изображения обрабатываются нативным визионным модулем, а головка чтения с 255 выходами преобразует последнее скрытое состояние в вероятности.
Заявленные производителем показатели
Все приведённые измерения предоставлены Nace AI. По публичному индексу Decision Index 0.4 Drex Max набирает 67,52 балла против 61,25 у Drex v2.0 и 57,96 у Jev 1.13.0. Лучший результат, который отмечает компания, — 97,3 балла в бенчмарке InfographicVQA. По её данным, модель достигает 92,2% на JevBench (213 из 231 ответа) и 94,30% на Decision Bench v4 (1010 из 1071). В рейтинге Artificial Analysis Decision Index она занимает четвёртое место из 18 с 64 баллами, согласно Nace AI. Запросы без ответа считаются ошибочными.
Локальный запуск с разными требованиями
Nace AI документирует пять сред выполнения, каждая из которых предоставляет один и тот же интерфейс POST /v1/systemone. При запуске на Python с GPU NVIDIA модель занимает около 49 ГБ в формате bf16 или 26 ГБ в 8-битном формате и поддерживает изображения. На Mac версия с квантованием Q4 размером 14,45 ГБ предназначена для машин с минимум 24 ГБ памяти, тогда как GGUF Q8_0 объёмом 27,25 ГБ требует 48 ГБ. Локальные пути на Mac и CPU пока поддерживают только текст.
Согласно тестам компании, квантование сохраняет близкую точность: на Apple M5 Pro с 48 ГБ памяти Q8_0 отклоняется не более чем на 0,02 от результатов bf16 на H100 для каждой вероятности, а Q4 отклоняется не более чем на 0,0329 от Q8_0 без изменения выбора. Веса распространяются по лицензии Nace.AI Open RAIL-M. Размещённая версия на старте тарифицируется в 0,03 доллара за 1000 решений, по данным компании.
В исходной статье уточняется, что она спонсирована Nace AI.
