OVHcloudはこれまで、主にAIインフラ、特にGPU(モデルの学習と実行に使用されるグラフィックプロセッサ)のレンタルを提供してきた。今回、同社はOlalaを通じて自社モデルの開発に乗り出し、その第一弾となるOlala mini 7A1Bを11月19日(木)に公開する予定だ。
「我々が示したいのは、欧州がAIのあらゆるレイヤーにおいて存在感を示せるということです」と、OVHcloudのCEOオクターブ・クラバはAFP通信に語った。
ローカル使用向けのコンパクトモデル「Olala mini」
Olala mini 7A1BはMixture of Experts(MoE)アーキテクチャを採用している:各リクエストに対して、内部パラメータ(内部設定)の一部のみが動作する。OVHcloudによれば、この構造によりメモリ要件が軽減され、単純なCPU上でも含め、ローカルでの実行が可能になるという。
このモデルは70億のパラメータ(うちリクエストごとに10億が活性化)を持ち、レイヤーごとに256のエキスパートに分散されている。そのハイブリッドアーキテクチャは、必要なメモリを抑えるように設計されたアテンション層(Differential-TPA)とMamba-3層を交互に配置している。最低8GBメモリのGPUを必要とし、RTX A4500上では1秒あたり160トークン(モデルが処理するテキスト単位)を達成する。CPUのみの場合、50トークン/秒となる。一度に処理できるテキスト量であるコンテキストウィンドウは32,000トークンだ。
このモデルは、OVHcloud AI Summitの当日、Hugging Face上でApache 2.0ライセンスの下で公開される。OVHは、モデルウェイト、事前学習済みベースモデル、技術レポート、AI Act準拠に関する文書を提供する。同社によれば、Qwantは既に自社検索エンジンの「フラッシュ回答」にこのモデルを使用しており、前モデルと比べて20%高速で、コストは3分の1になっているという。
1000億パラメータ超へのロードマップ
このモデルは、欧州の3つのパブリックスーパーコンピュータ、Jupiter、MeluXina、Jean Zayで学習された。700万ユーロ相当の計算時間に相当するこの支援により、OVHai LLM(そのエージェントラボ)が誕生した。「モデル学習のノウハウは大きく民主化され、学習コストは3年で20分の1になりました」と、オクターブ・クラバはリリース文で強調している。
年内に予定されているバージョン1.1では、コンテキストウィンドウを128,000トークンに拡大し、数学的推論能力を向上させる。バージョン2.0ではパラメータ数が1000億を超え、専門モデルとして展開される予定だ:OVHai Workspaceを支える企業向けエージェントモデル、開発者、アーキテクト、運用チーム向けのクラウドDevOpsモデル、そして防御・攻撃両方のサイバーセキュリティモデル。AFP通信へのインタビューで、オクターブ・クラバはまた、Claude CodeやCodexのようなコード支援ツールにも言及し、明確な期限はないものの1億ユーザーを目指すと述べた。
Mistral AIとの直接競合
Olalaは、異なるビジネスモデルではあるが、OVHcloudをMistral AIと直接競合させることになる。評価額210億ユーロ超のフランスのスタートアップMistral AIは、9月に30億ユーロを調達した。黒字経営のOVHcloudは、AI戦略の資金調達のために新たな資金調達を行う予定はない。
同社CEOは既に、La Tribuneへのインタビューで、両社の売上高と顧客数を比較しながら、OVHとMistralは「非常に異なる」と指摘していた。「我々はゼロから始めるわけではありません。OVHというブランドと顧客基盤を持っています」と、彼はAFP通信に対して強調した。
技術的には、Olala miniはMistral AIのコンパクトモデルであるMinistral 3シリーズ(30億、80億、140億パラメータ)と同じカテゴリーに位置し、これらもローカル使用を想定している。1190億パラメータと8倍広いコンテキストウィンドウを持つMistral Small 4や、さらに大規模なMistral Large 4には及ばない。
OVHはベンチマークを公開していない:リリース文では処理速度は示されているが、品質スコアはなく、現時点ではMistral AIのモデルとの数値比較はできない。
