Nace AI publica em open source Drex Max v1, um modelo de 27B que roda em Apple Silicon

Nace AI publica em open source Drex Max v1, um modelo de 27B que roda em Apple Silicon
3 min de leitura

Nace AI publicou os pesos abertos do Drex Max v1, que apresenta como o seu modelo de decisão mais performante. Pode agora ser executado no hardware do utilizador, incluindo em alguns Mac equipados com chips Apple Silicon.

Segundo a empresa, a versão publicada inclui pesos em bf16, um ficheiro no formato Q8_0 GGUF, um ponto de verificação em Q4 afinado, bem como versões adaptadas de llama.cpp e de Ollama. Para os programadores, o interesse é poder manter localmente tarefas como o encaminhamento, a classificação ou a verificação de regras.

Um modelo de decisão, e não de geração

O Drex Max responde a perguntas colocadas sobre um contexto dado: um estado fornecido sob a forma de texto, JSON ou imagens, acompanhado de perguntas nomeadas. Devolve uma probabilidade para cada opção numa única passagem, sem gerar nada. As perguntas podem ser de escolha múltipla entre opções nomeadas, binárias (sim ou não) ou de pontuação ordinal.

A Nace AI cita nomeadamente o encaminhamento de agentes, a triagem de tickets e os controlos de salvaguardas. O modelo conta com 27 mil milhões de parâmetros em arquitetura densa, com uma janela de contexto de 262 144 tokens, ou seja, 16 384 por padrão, e até 255 opções por pergunta. As imagens passam por uma torre de visão nativa, e uma cabeça de leitura com 255 saídas transforma o último estado oculto em probabilidades.

Desempenhos anunciados pelo editor

Todas as medições citadas são fornecidas pela Nace AI. No índice público Decision Index 0.4, o Drex Max obtém 67,52, contra 61,25 do Drex v2.0 e 57,96 do Jev 1.13.0. A melhor pontuação destacada é de 97,3 no benchmark InfographicVQA. Segundo a empresa, o modelo atinge 92,2 % no JevBench (213 respostas em 231) e 94,30 % no Decision Bench v4 (1010 em 1071). Um ranking do Artificial Analysis Decision Index coloca-o em 64 pontos, na quarta posição entre 18, de acordo com a Nace AI. Os pedidos sem resposta são contabilizados como errados.

Uma execução local mais ou menos exigente

A Nace AI documenta cinco ambientes de execução, que expõem todos a mesma interface POST /v1/systemone. Com Python em GPU NVIDIA, o modelo ocupa cerca de 49 GB em bf16 ou 26 GB em 8 bits, e aceita imagens. No Mac, a versão afinada Q4, com um tamanho de 14,45 GB, visa máquinas com pelo menos 24 GB de memória, enquanto o GGUF Q8_0 de 27,25 GB exige 48 GB. Os caminhos locais no Mac e CPU suportam, por enquanto, apenas texto.

De acordo com os testes da empresa, a quantização mantém uma precisão próxima: num Apple M5 Pro de 48 GB, o Q8_0 mantém-se a 0,02 dos resultados obtidos em bf16 num H100 para cada probabilidade, e o Q4 mantém-se a 0,0329 do Q8_0, sem alteração de escolha. Os pesos são distribuídos sob a licença Nace.AI Open RAIL-M. A versão alojada é faturada a 0,03 dólares por 1000 decisões no lançamento, segundo a empresa.

O artigo original especifica que é patrocinado pela Nace AI.

S’abonner
Notification pour
guest

0 Commentaires
Le plus ancien
Le plus récent Le plus populaire
0
Nous aimerions avoir votre avis, veuillez laisser un commentaire.x