Nace AI veröffentlicht Drex Max v1 als Open Source, ein 27B-Modell für Apple Silicon

Nace AI veröffentlicht Drex Max v1 als Open Source, ein 27B-Modell für Apple Silicon
2 Minuten Lesezeit

Nace AI hat die Open-Source-Gewichte von Drex Max v1 veröffentlicht, das sie als ihr leistungsstärkstes Entscheidungsmodell vorstellt. Es kann nun auf der Hardware des Nutzers laufen, einschließlich einiger Macs mit Apple-Silicon-Chips.

Laut dem Unternehmen umfasst die veröffentlichte Version bf16-Gewichte, eine Q8_0 GGUF-Datei, einen Q4-Affine-Checkpoint sowie angepasste Versionen von llama.cpp und Ollama. Für Entwickler liegt der Vorteil darin, Aufgaben wie Routing, Klassifizierung oder Regelprüfung lokal behalten zu können.

Ein Entscheidungsmodell, kein Generierungsmodell

Drex Max beantwortet Fragen zu einem gegebenen Kontext: einem als Text, JSON oder Bilder bereitgestellten Zustand, ergänzt durch benannte Fragen. Es gibt eine Wahrscheinlichkeit für jede Option in einem einzigen Durchlauf zurück, ohne etwas zu generieren. Die Fragen können Auswahl aus benannten Optionen, binär (ja oder nein) oder ordinal bewertet sein.

Nace AI nennt insbesondere Agenten-Routing, Ticket-Sortierung und Sicherheitskontrollen. Das Modell hat 27 Milliarden Parameter in einer dichten Architektur, mit einem Kontextfenster von 262.144 Tokens, standardmäßig 16.384, und bis zu 255 Optionen pro Frage. Bilder durchlaufen einen nativen Vision-Tower, und ein 255-Ausgänge-Lesekopf wandelt den letzten verborgenen Zustand in Wahrscheinlichkeiten um.

Vom Hersteller angekündigte Leistung

Alle genannten Messwerte stammen von Nace AI. Im öffentlichen Decision Index 0.4 erreicht Drex Max 67,52 Punkte, gegenüber 61,25 für Drex v2.0 und 57,96 für Jev 1.13.0. Der hervorgehobene Bestwert ist 97,3 im InfographicVQA-Benchmark. Laut dem Unternehmen erreicht das Modell 92,2 % auf JevBench (213 von 231 Antworten) und 94,30 % auf Decision Bench v4 (1010 von 1071). Ein Ranking des Artificial Analysis Decision Index platziert es bei 64 Punkten auf Platz vier von 18, so Nace AI. Anfragen ohne Antwort gelten als falsch.

Mehr oder weniger anspruchsvolle lokale Ausführung

Nace AI dokumentiert fünf Ausführungsumgebungen, die alle die gleiche POST /v1/systemone-Schnittstelle bereitstellen. Mit Python auf NVIDIA-GPU belegt das Modell etwa 49 GB in bf16 oder 26 GB in 8-Bit und akzeptiert Bilder. Auf dem Mac zielt die Q4-Affine-Version mit 14,45 GB Größe auf Maschinen mit mindestens 24 GB Arbeitsspeicher, während das 27,25 GB große GGUF Q8_0 48 GB benötigt. Lokale Pfade auf Mac und CPU unterstützen derzeit nur Text.

Laut Unternehmens-Tests bleibt die Genauigkeit durch Quantisierung nahezu erhalten: Auf einem Apple M5 Pro mit 48 GB bleibt Q8_0 innerhalb von 0,02 der auf einem H100 in bf16 erzielten Ergebnisse pro Wahrscheinlichkeit, und Q4 bleibt innerhalb von 0,0329 von Q8_0, ohne Wahländerung. Die Gewichte werden unter der Nace.AI Open RAIL-M-Lizenz vertrieben. Die gehostete Version kostet zum Start laut Unternehmen 0,03 Dollar für 1.000 Entscheidungen.

Der Originalartikel gibt an, dass er von Nace AI gesponsert wird.

S’abonner
Notification pour
guest

0 Commentaires
Le plus ancien
Le plus récent Le plus populaire
0
Nous aimerions avoir votre avis, veuillez laisser un commentaire.x