Mistral heeft Mistral Large 4 gepresenteerd, bijgenaamd ‘Le Chonk’, een multimodaal, meertalig en op een mengsel van experts (Mixture-of-Experts) gebaseerd model dat tekst en afbeeldingen als invoer accepteert en tekst produceert. Het heeft ongeveer 1T parameters in totaal en een contextvenster van 1M tokens, waarbij een token de tekstunit aanduidt die het model verwerkt. Het wordt gedistribueerd onder de Mistral Ecosystem Open-Weight License, een van de MIT afgeleide licentie die limieten stelt voor model-as-a-service-aanbiedingen.
Het model bestaat in twee officiële varianten, FP8 en NVFP4. Versies in GGUF-formaat, bedoeld voor lokale uitvoering, zijn gemaakt door Unsloth en het llama.cpp-team.
Een model gericht op defensieve cybersecurity
Volgens Mistral behaalt Mistral Large 4 82 % op de Artificial Analysis Cyber Index, een test die vraagt om een echte kwetsbaarheid in open source software te reproduceren en vervolgens te corrigeren. Mistral geeft aan dat verschillende gesloten topmodellen een score dicht bij nul halen op deze proef, omdat ze weigeren het te proberen. Tijdens interne tests bleek het model ook nuttig voor malware-analyse, het prioriteren van kwetsbaarheden en het schrijven van detectieregels, toepassingen waarvoor het niet specifiek was getraind.
Mistral benadrukt vooral een defensief gebruik. Volgens het bedrijf kunnen het zoeken naar lekken en incidentresponse lijken op aanvallen in de aan een model gerichte queries, en worden geblokkeerd door filters. Een team dat afhankelijk is van een API kan ook de toegang midden in een crisis verliezen. Open-weight-modellen laten daarentegen de gebruiker de controle houden over het gebruikersbeleid en de implementatie. Het model weigert echter gevaarlijke verzoeken: op de cyberqueries van de benchmarks JailbreakBench, StrongREJECT en AgentHarm is het gemiddelde weigeringspercentage, volgens de bron, hoger dan dat van elk ander open-weight-model.
Architectuur en aangekondigde resultaten
De tekstdecoder bestaat uit 72 lagen, een verborgen dimensie van 6.144 en 64 aandachtkoppen. Het combineert Multi-head Latent Attention (MLA) en een DeepSeek Sparse Attention (DSA)-indexeerder, die tot 2.048 sleutelposities selecteert voor elke query. In de MoE-lagen kiest een router vier experts uit 128 voor elke token, waaraan een gedeelde expert wordt toegevoegd, wat vijf actieve experts per token oplevert. De beeldencoder is een Pixtral-encoder van 1,6B.
Mistral kondigt scores aan van 61,7 % op DeepSWE v1.1, 59,4 % op SWE-Atlas-QnA en 28,3 % op Terminal-Bench 4, voor een gecombineerde Coding Agent Index van 49,8 %, voor DeepSeek V4 Pro 0813 en Qwen3.8 Max. Op Cybench lost het model 93 % op van een reeks van 40 uitdagingen afkomstig uit securitycompetities, en het bereikt 93,3 % weerstand tegen aanvallen op de B3-benchmark van Lakera. Volgens de bron is het op 29 oktober 2026 het vijfde beste open-weight-model op de Artificial Analysis Intelligence index.
Implementatie en aanpassing
Mistral Large 4 is vanaf de lancering compatibel met transformers, vLLM en llama.cpp. Op een server met acht NVIDIA H200 GPU’s via Inference Endpoints bereikt de FP8-variant, voor een enkele query, ongeveer 65 tokens per seconde, en tot 120 à 138 tokens per seconde op conversatieprompts. Op een Mac M3 Ultra toont de Q2_K-versie ongeveer 15 tokens per seconde in generatie.
Het model kan ook onderworpen worden aan fine-tuning, dat wil zeggen een aanvullende afstemming op specifieke data. Een voorbeeld wordt gegeven met TRL, de bibliotheek van Hugging Face, op een node met acht B300 GPU’s, om het model te leren redeneren in de taal die door de systeemprompt wordt gevraagd. De TRL-voorbeelden bevatten een Slurm-launcher. Dell biedt bovendien een geoptimaliseerd recept om het model te implementeren op zijn Dell AI-servers, met name op een NVIDIA B300-node.
