OVHcloudは、11月19日(木)にパリで開催したAIサミットにおいて、初の大規模言語モデル「Olala mini 7A1B」をオープンアクセスで公開した。2日前にテスト結果なしで発表されたが、現在は技術レポートが添付されている。ホスティング事業者自身によれば、これは中位グループのモデルであり、指示の追従には非常に優れているが、数学や科学分野ではやや苦手としている。
OVHcloudは単一のモデルではなく、5つのモデルを公開している。会話、推論、ツール利用を目的とした最終版に加え、会話用に調整されていない生の基本モデル、中間バージョン、そして文書要約と翻訳に特化した2つの派生モデルが含まれる。全てApache 2.0ライセンスの下で公開されており、対価なしでの商用利用が許可されている。
同社はまた、学習データのレシピと学習ツールも公開すると発表した。これは稀な慣行であり、いわゆる「オープン」モデルの多くは重み、すなわちモデル自体のみを公開するにとどまっている。Olalaは、英語および主にヨーロッパの36言語を含む、12.8兆トークン(テキストの断片)で学習されている。
19モデル中7位
OVHcloudは、Olalaを指示追従、科学知識、コード、数学に関する12のテストにおいて、規模が同等の18のモデルと比較した。100点満点中平均68点で、このモデルは7位に位置する。これらのスコアは同社自身の測定によるものであり、独自の設定を用いており、独立した機関による再現はまだ行われていない。
Mistralのモデルとの比較では結果は分かれる:OlalaはMinistral 3 3Bを上回るが、Ministral 3 8Bには及ばない。表内のEuroLLM 9BやApertus 8Bなど他の欧州モデル(平均32点未満)よりも明らかに優れた結果を示している。70億のパラメータ(学習中に獲得された設定)を持つが、生成される単語ごとに活性化するのはそのうち10億のみであり、Qwen3.5 4Bの40億、Ministral 3 8Bの80億と比較して少ない。つまり計算量が少なく高速であるが、Qwen3.5 4Bは12テスト中9テストでより良い結果を出している。
OVHcloud自身も、自社モデルは「指示追従が強く、競技数学が弱い」と認めている。IFBench(単語数や形式などの特定の制約の遵守を検証するテスト)では、Olalaは57.7%を獲得し、Ministral 3 8Bの2倍のスコアとなった。大学レベルの科学テストであるGPQA Diamondでは50.5%に対し、Qwen3.5 4Bは75.8%だった。Olalaは、要約、分類、情報抽出、適切なツール呼び出しなど、短く繰り返されるタスク向けに設計されている。最大75回連続したツール呼び出しを連鎖するように学習されている。
あなたのPC上で、まだワンクリックでは利用不可
OVHcloudは、「専用グラフィックスカードなしのPCで動作する」モデルを約束していた。しかし、一般向けツール(Ollama、LM Studio、llama.cppの公式版)ではまだ読み込むことができない。OVHcloudが公開したこれらのソフトウェアの修正版を使用し、コマンドラインを経由する必要がある。
一度インストールされれば、モデルは軽量のままである。最も圧縮されたバージョンは6GBで、十分なメリットがないため、OVHcloudはこれ以上圧縮したバージョンを公開していない。同社によると、16GBメモリを搭載したMacBook Air M5上では、6ビット版は約70トークン/秒を生成する。非圧縮版は13.6GBを必要とする。
Olalaは既に最初の顧客である検索エンジンQwantを獲得している。検索結果上部に表示される「フラッシュ」回答は、要約特化版に基づいている。OVHcloudによれば、これは1日300万クエリを処理し、前モデル(これもMistral由来)の3分の1のリソースで、20%高速な回答を実現している。Qwantは2023年からKlaba家と預金供託金庫が共同所有する企業の傘下にあり、モデルは2021年にOctave Klabaの会社によって買収されたShadowのGPU上で稼働している。3社は今週木曜、「エンドツーエンドの主権AI」のための同盟を発表した。ただし、要約の品質については何も言及されていない。
バージョン1.1は年内にリリースされる予定である。そのコンテキストウィンドウ(モデルが記憶するテキスト量)は32,000トークンから128,000トークンに拡大する。バージョン2.0は1000億パラメータを超える。報道陣の前で、Octave Klabaは2027年初頭に向けて1000億から3000億パラメータの範囲を示し、最終的にはサイバーセキュリティと開発向けに3兆パラメータのモデルを目指すと述べた。約100人のチームによって設計されたOlala miniは、学習データを含む完全なオープン性によって特に際立っている。
