Mistral Large 4がHugging Faceに登場、コードネームは「Le Chonk」

Mistral Large 4がHugging Faceに登場、コードネームは「Le Chonk」
1 分の読書

Mistralは、Mistral Large 4を発表した。コードネーム「Le Chonk」と呼ばれるこのモデルは、マルチモーダル、マルチリンガル、かつエキスパート混合(Mixture-of-Experts)方式を採用し、テキストと画像を入力として受け取り、テキストを生成する。総パラメータ数は約1T、コンテキストウィンドウは1Mトークン(トークンはモデルが処理するテキストの単位)である。MITライセンスを基にした派生ライセンスであるMistral Ecosystem Open-Weight Licenseの下で配布されており、モデル・アズ・ア・サービス(model-as-a-service)型の提供に制限を設けている。

モデルは、FP8とNVFP4の2つの公式バリアントが存在する。ローカル実行を目的としたGGUFフォーマットのバージョンは、Unslothとllama.cppチームによって作成されている。

防御的サイバーセキュリティに特化したモデル

Mistralによると、Mistral Large 4は、オープンソースソフトウェアの実際の脆弱性を再現し、その後修正することを求めるテスト「Artificial Analysis Cyber Index」で82%のスコアを獲得した。Mistralは、多くの最先端のクローズドモデルは、この課題を試みることを拒否するため、スコアがゼロに近いと述べている。社内テストでは、このモデルは、マルウェア分析、脆弱性の優先順位付け、検出ルールの作成にも有用であることが示されており、これらはモデルが特別に訓練されていなかった用途である。

Mistralは特に防御的用途を強調している。同社によれば、脆弱性調査やインシデント対応は、モデルへのクエリにおいて攻撃のように見える可能性があり、フィルターによってブロックされることがある。APIに依存するチームは、危機の最中にアクセスを失う可能性もある。一方、オープンウェイトモデルは、ユーザーが使用ポリシーとデプロイメントを制御できるようにする。ただし、このモデルは危険な要求は断るように設計されている:JailbreakBench、StrongREJECT、AgentHarmのサイバー関連ベンチマーククエリに対する平均拒否率は、情報源によれば、他のあらゆるオープンウェイトモデルよりも高い。

アーキテクチャと発表された結果

テキストデコーダは72層、隠れ次元6,144、アテンションヘッド64を備える。Multi-head Latent Attention (MLA)とDeepSeek Sparse Attention (DSA)インデクサを組み合わせており、DSAは各クエリに対して最大2,048のキーポジションを選択する。MoE層では、ルーターが各トークンに対して128のエキスパートの中から4つを選択し、それに共有エキスパートが加わり、トークンあたり5つのアクティブなエキスパートとなる。画像エンコーダは1.6BパラメータのPixtralエンコーダである。

Mistralは、DeepSWE v1.1で61.7%、SWE-Atlas-QnAで59.4%、Terminal-Bench 4で28.3%のスコアを発表し、Coding Agent Indexの合計スコアは49.8%で、DeepSeek V4 Pro 0813とQwen3.8 Maxを上回った。Cybenchでは、セキュリティコンペティションから抽出された40の課題の93%を解決し、LakeraのB3ベンチマークでは攻撃に対する耐性が93.3%に達した。情報源によれば、2026年10月29日時点で、Artificial Analysis Intelligence indexにおいて5番目に優れたオープンウェイトモデルである。

デプロイメントと適応

Mistral Large 4は、ローンチ時点でtransformers、vLLM、llama.cppと互換性がある。8基のNVIDIA H200 GPUサーバー上のInference Endpointsでは、FP8バリアントは単一クエリで約65トークン/秒、会話型プロンプトでは120〜138トークン/秒に達する。Mac M3 Ultraでは、Q2_Kバージョンは生成時に約15トークン/秒を表示する。

このモデルは、特定のデータに対して追加調整を行うファインチューニングの対象にもなる。Hugging FaceのライブラリであるTRLを使用した例が、8基のGPU B300ノード上で提供されており、モデルがシステムプロンプトで要求された言語で推論することを学習させる。TRLの例にはSlurmランチャーが含まれている。また、Dellは、特にNVIDIA B300ノード上のDell AIサーバーにモデルをデプロイするための最適化されたレシピを提供している。

S’abonner
Notification pour
guest

0 Commentaires
Le plus ancien
Le plus récent Le plus populaire
0
Nous aimerions avoir votre avis, veuillez laisser un commentaire.x