言語モデルを自社のマシンで実行することと、自社の文書に基づいて回答させることは、別々のプロジェクトであり、組み合わせることが可能です。ローカルAIはクエリを自社のハードウェア内に保持し、RAG(検索拡張生成)は回答を作成する前に、ファイルから有用なパッセージを検索します。16GBのメモリ、OllamaやLM Studioのようなランチャー、数十億パラメータの量子化モデルがあれば、サブスクリプションなしですぐに両方をテストできます。
このガイドでは、意図的に2つの道筋を分けています。1つ目は「自宅でモデルを実行するには?」という質問に答えるものです:ハードウェア、モデルの選択、ツール。2つ目は「モデルに嘘をつかせずに自社データを問い合わせるには?」という質問に答えるものです:文書の分割、検索、引用、制御。両者は後述する共通のアーキテクチャで合流します。記載されているバージョンと数字は2026年11月に公式ドキュメントで確認されたものです。これらは急速に変化するため、ハードウェア購入前には必ず再確認してください。さらに詳しく知りたい方は、記事「SQL FULLTEXT検索 vs ベクトルデータベース:RAGにはどのエンジンが適しているか?」をお読みください。
なぜローカルでAIを実行するのか?
第一の理由はデータの管理です。モデルが自社の端末や内部サーバーで実行される場合、モデルに送信するテキストは第三者サービスを経由する必要がありません。Ollamaのドキュメントでは、ローカル実行時にはツールがプロンプトにアクセスできず、クラウド機能は環境変数OLLAMA_NO_CLOUD=1または~/.ollama/server.jsonの設定で無効にできると説明されています(OllamaのFAQ)。一方、LM Studioは、RAG用の会話と添付文書はマシン上に残り、インターネットはモデルやアップデートの検索とダウンロードにのみ必要であると述べています(LM Studioのオフライン ドキュメント)。
次に、コストの予測可能性と安定性があります。ローカルモデルはトークン単位で課金されません:使用量に関わらず、ハードウェアと電気代を支払うだけです。また、モデルのバージョンを固定することで、プロバイダー側のアップデートによって既に検証済みのアプリケーションの動作が変わることを防ぎます。最後に、ファイルをダウンロードすればオフラインでも実行可能であり、移動中や隔離されたサイトでの利用に有利です。
一方で、妥協点を受け入れる必要があります。ノートパソコンで動作するモデルは、一般的に複雑な推論において商用APIの大規模モデルよりも性能が低く、速度はグラフィックスカードやチップに直接依存します。また、インストール、アップデート、サービスのセキュリティも自らの責任となります。
必須の用語
- 重み:モデルが学習したパラメータで、数ギガバイトのファイルとして配布されます。その数(例:8Bは80億)は、必要なメモリを大きく左右します。
- 量子化:これらの重みの精度を低下させること(例:16ビットから8ビットまたは4ビットへ)。ファイルサイズを削減できますが、品質の低下が多かれ少なかれ生じます。
- コンテキストウィンドウ:モデルが一度に処理できるトークン(単語の断片)の最大数で、質問、履歴、文書を含みます。
- オープンウェイトとオープンソース:重みのみが公開されているモデルは「オープンウェイト」です。Open Source InitiativeのオープンソースAIの定義(バージョン1.0)では、より多くの要件を求めています:トレーニングデータに関する詳細情報、完全なトレーニングおよび推論コード、パラメータの全てがOSI承認の条件の下で公開されていることです(Open Source AI Definition)。したがって、インストールするモデルのほとんどは、様々な寛容さのライセンスの下で公開されたオープンウェイトモデルです。
始めるためのハードウェア、モデル、ツール
計算能力よりも、まずメモリが第一の基準です。快適な速度で実行するには、モデル全体がグラフィックスカードのビデオメモリ(VRAM)内、またはAppleチップ搭載Macの統一メモリ内に収まる必要があります。収まらない部分はRAMとCPUにオフロードされますが、動作はするものの大幅に速度が低下します。必要な総容量は、重み、コンテキストの長さに応じて増加するキー・バリューキャッシュ(KVキャッシュ)、およびソフトウェアとシステムのためのマージンの3つに分解できます。
GoogleはGemma 4ファミリー向けに、大まかな目安を設定するのに役立つ表を公開しています。これはKVキャッシュを含まず、約20%のマージンを含む重みのみのロードに必要なメモリを示しています(GoogleのGemmaドキュメント、2026年11月確認)。
| Gemma 4 モデル | 16ビット (BF16) | 8ビット (SFP8) | 4ビット (Q4_0) |
|---|---|---|---|
| E2B | 11.4 GB | 5.7 GB | 2.9 GB |
| E4B | 17.9 GB | 8.9 GB | 4.5 GB |
| 12B | 26.7 GB | 13.4 GB | 6.7 GB |
| 26B A4B (エキスパート) | 57.7 GB | 28.8 GB | 14.4 GB |
| 31B | 69.9 GB | 34.9 GB | 17.5 GB |
この表から2つの教訓が得られます。まず、4ビット量子化は16ビットと比較してフットプリントを約4分の1に削減します。これが、ランチャーがほぼ常にデフォルトで量子化バージョンを提供する理由です。次に、26B A4Bのようなエキスパートモデル(MoE)はトークンごとに40億パラメータしか活性化しませんが、Googleは260億パラメータ全てをメモリにロードする必要があると説明しています:このアーキテクチャは計算を高速化しますが、ストレージは削減しません。
3つの典型的な構成
これらの数字をもとに具体的なケースを検討できますが、詳細は当サイトのローカルAIモデル計算機で、特定のグラフィックスカードやMacでのメモリ使用量と速度を推定してください:
- 専用グラフィックスカードなしの16GBノートパソコン:実質的なパラメータ数が20億から40億の4ビットモデル(Gemma 4 E4Bの場合、重みが5GB未満)を目指し、コンテキストは控えめにします。短いテキストの言い換え、要約、情報抽出には十分です。
- 8GB VRAM搭載グラフィックスカードのPC:80億から120億パラメータクラスの4ビットモデル(Gemma 4 12Bの場合、重み6.7GB)は収まりますが、KVキャッシュ用の残りマージンはわずかです。コンテキストを減らすか、RAMへの部分的なオフロードを受け入れます。
- 32GBの利用可能メモリを搭載したMacまたはワークステーション:260億から310億パラメータの4ビットモデル(Gemma 4の場合、重み14.4GBから17.5GB)が利用可能になり、より長いコンテキスト用のスペースも確保できます。
ツールに関しては、最初の使用には2つのランチャーが主流です。MITライセンスで公開されているOllamaは、コマンドラインとアプリケーションで動作し、ポート11434でローカルAPIを公開します。GitHubでの最新の安定版は2026年11月9日に公開されたv0.40.16でした。LM Studioは2025年7月以降、プロフェッショナル使用を含め無料で、GUIを重視し、GGUFおよびMLXフォーマットをサポートし、OpenAI API互換のサーバーも提供します。当サイトの比較記事「Ollama vs LM Studio」で違いを詳述し、チュートリアル「Ollama ステップバイステップ」でインストールとAPIを解説しています。
モデルについては、4つの基準を考慮してください:メモリに適合するサイズ、フランス語での品質、対象タスク(文章作成、コード、抽出、画像認識)、ライセンスです。最近のいくつかのファミリーはApache 2.0ライセンスで公開されており、商用利用が許可されています:GoogleのGemma 4、AlibabaのQwen3.5、Mistral AIのMinistral 3、OpenAIのgpt-ossなどです。当サイトの「ベストローカルAIモデル選び」では、用途とマシン別に比較しています。
RAGとは何か、いつ必要か?
RAG(retrieval-augmented generation)は、言語モデルと文書検索エンジンを組み合わせます。この用語は、Patrick Lewisと共著者らが2020年5月に投稿した論文に由来し、重みの「パラメトリック」メモリと、要求に応じて問い合わせられる文書インデックスの「ノンパラメトリック」メモリを組み合わせたモデルを説明しました(Lewis et al., 2020)。現在の実践では、原則は同じです:回答する前に、システムはあなたのコーパスから関連するパッセージを検索し、それらをプロンプトに挿入してから、モデルにそれらに基づいて回答するよう要求します。詳細は「チャンキングRAG:より良い回答のための文書分割方法」をご覧ください。
このアプローチは、モデル単体の2つの限界に対応します。LLMはあなたの内部文書を知らず、その知識はトレーニングの日付で止まっています。RAGは質問時に最新かつ検証可能なコンテンツを提供し、引用を要求することも可能にします。モデルを変更するのではなく、文書を追加または削除するだけで、モデルが「知っている」ことを更新できます。
判断のためのグリッド
RAGは常に必要ではありません。コーパスのサイズと更新頻度によっては、よりシンプルな解決策で十分な場合があります。以下のグリッドは最も一般的な状況をまとめたものであり、標準ではなく編集分析を反映しています。
| 状況 | 最もシンプルな解決策 | 理由 |
|---|---|---|
| 1つまたは2つの短い文書を随時分析する | テキストをプロンプトに貼り付ける | コンテンツがコンテキストウィンドウに収まり、インデックス作成は不要です。 |
| 数百の文書、様々な質問 | RAG | 関連するパッセージのみが送信されるため、コンテキストを節約でき、ソースを引用できます。 |
| 頻繁に更新される文書(手順、価格表、FAQ) | RAG | 再インデックスするだけで済み、モデルは変更されません。 |
| 一貫したトーン、フォーマット、または専門用語が必要 | システムプロンプト、その後必要に応じてファインチューニング | これは学習すべき振る舞いであり、検索すべき知識ではありません。 |
| システムが行動する必要がある(メールを送信する、ファイルを変更する) | ツールを備えたエージェント | 文書検索だけでは不十分で、権限と監視が必要です。 |
RAGとモデル調整の境界については、シリーズの別記事「RAG vs ファインチューニング」で扱います。表の最後のケースは別の論理に属します:モデルに行動するためのツールを与えることがプロジェクトの目的である場合、当サイトのAIエージェントガイドでそれらを設計し管理する方法を説明しています。この点については「RAG vs ファインチューニング:どちらを選ぶべきか?」で詳述します。
信頼性の高い文書検索を構築する方法
RAGは2段階で構築されます。インデックス作成は文書を一度だけ準備し、問い合わせは各質問ごとに行われます。最終的な品質は、生成モデルの選択よりもはるかに第一段階に依存します:不適切に分割されたり見つからなかったりするパッセージは、どんなLLMでも正しく引用されることはありません。
- テキストの抽出:PDF、Webページ、オフィスファイルからテキストを抽出し、各文書のタイトル、ソース、日付を保持します。表やスキャンされたPDFはしばしば特別な処理を必要とします。
- テキストのパッセージへの分割(チャンキング):固定サイズ、段落、またはセクションごとに行います。適切な粒度は文書の種類に依存します。当サイトの記事「チャンキング戦略の選択」では決定木を提案しています。
- パッセージのインデックス作成:キーワード(従来の全文検索)、ベクトル(埋め込み)、またはその両方で行います。例えば、Ollamaは正規化されたベクトルを返す/api/embedエンドポイントを公開しています。そのドキュメントではコサイン類似度と、インデックス作成とクエリで同じ埋め込みモデルを使用することを推奨しています(Ollamaの埋め込みドキュメント)。
- 検索:質問に最も近いパッセージを検索し、必要に応じて再ランク付けします。
- 回答の生成:提供されたパッセージのみに基づき、そのソースを引用し、情報が不足している場合は「わかりません」と答えるようモデルに要求します。
全文検索とベクトルデータベースの選択はイデオロギー的なものではありません。キーワード検索は正確な参照(記事番号、製品コード)に優れ、ベクトル検索は言い換えや同義語に優れています。多くのシステムは両方を組み合わせます。シリーズでは、SQL FULLTEXT検索とベクトルデータベースの比較、および埋め込みと意味検索に関する別の記事を扱います。このテーマについては専用記事「埋め込み:ベクトルと意味検索を理解する」があります。
RAGが最も頻繁に失敗する場所
- コンテキストが短すぎる:24GiBのVRAM未満では、Ollamaはデフォルトでドキュメントによると4,096トークンのウィンドウを割り当てます。400トークンのパッセージ10個と質問と指示ですでに飽和します。追加メモリを考慮して、環境変数OLLAMA_CONTEXT_LENGTHまたはパラメータnum_ctxで増やしてください。
- 不適切な場所で分割されたパッセージ:タイトルから切り離された定義、2つの部分に分割された表。
- フランス語に適していない埋め込みモデル、またはインデックス作成とクエリで異なるモデル。
- 引用の欠如:表示されるソースがなければ、ユーザーは根拠に基づいた回答と創作を見分けられません。
- 参照質問セットの欠如:定期的な評価がなければ、コーパスやモデルのアップデート後の回帰に気づきません。
最後の点については、答えとソース文書が分かっている30問ほどの質問セットを作成し、変更のたびに正しいパッセージが検索され、回答がそれを引用していることを確認してください。当サイトの言語モデル評価ガイドでは適用可能な測定方法を詳述しています。コーパスからインターフェースまでの完全な実践は、文書上でRAGチャットボットを作成するチュートリアルで扱います。
セキュリティ、コスト、ライセンス、制限
ローカルはデフォルトで安全という意味ではありません。Ollamaはデフォルトで127.0.0.1(つまりマシン自体のみ)をリッスンします。OLLAMA_HOST=0.0.0.0でネットワークアクセス可能にすると、ネイティブ認証なしのAPIが接続可能なすべての端末に公開されます。複数の人が使用する場合は、認証付きプロキシやファイアウォールの背後に配置してください。また、自動アップデートやモデルのダウンロードは送信トラフィックを生成するため、セキュリティポリシーで要求される場合は文書化する必要があります。
RAGは独自のリスクを追加します。OWASPはプロンプトインジェクションをLLMアプリケーションの2025年版Top 10の筆頭に挙げ、悪意のある指示がファイルやWebページなどの外部ソースから到達する可能性があり、RAGはこのリスクを排除しないと指摘しています(OWASP, LLM01:2025)。したがって、コーパス内の仕掛けられた文書が回答に影響を与える可能性があります。もう一つのリスクはコンテキストを通じた漏洩です:インデックスに人事文書が含まれている場合、権限のないユーザーが巧妙な質問でそれらを引き出せてはなりません。アクセス権によるフィルタリングは、インターフェースだけでなく、検索時にも適用される必要があります。
ANSSIは2024年4月に、これらのプロジェクトに直接適用可能な生成AIシステムのセキュリティ推奨事項を公開しました(ガイド ANSSI-PA-102)。特に、安全なモデルフォーマットの使用(R6)、設計段階からの知る必要性の考慮(R8)、入出力のフィルタリング(R25)、制御されていない入力からトリガーされる自動アクションの制限(R27)、処理のログ記録(R29)などが含まれます。シリーズではRAGシステムのセキュリティに関する記事を予定しています。
コスト面では、方程式は立てやすいですが判断は容易ではありません。ローカルは使用量に基づく課金をハードウェア投資と管理時間に置き換えます。ボリュームが高く定期的である場合、または機密性がクラウドを禁止する場合に有利になります。時折の使用では、トークン単位で課金されるAPIの方が、しばしばより経済的で高性能です。当サイトのインタラクティブモデル比較ツールは、この代替案に対する商用モデルの位置づけに役立ちます。
最後に、ライセンスはモデルによって大きく異なります。Gemma 4、Qwen3.5、Ministral 3、gpt-ossはApache 2.0で公開されています。2026年10月末に重みが公開されたMistral Large 4は、MITライセンスをベースにした独自のライセンスに従い、ホストされたサービス(model-as-a-service)として運用するには別途商用ライセンスが必要と、そのHugging Faceのカードに記載されています。商用利用や再配布の前には必ずライセンスを読んでください。
5点でのインストール確認
- サービスが意図したアドレス(ローカルまたは保護された内部ネットワーク)のみをリッスンしている。
- ollama psコマンド、または使用するランチャーの同等のコマンドで、モデルがGPUに100%ロードされていること(それが目的の場合)、および実際に割り当てられたコンテキスト長が表示される。
- データがマシンを離れるべきでない場合、クラウド機能が一切有効になっていない。
- モデルのライセンスが使用目的と互換性があり、そのバージョンが記録されている。
- 参照質問セットがあり、各変更前後の品質を測定できる。
この確認は欠陥がないことを保証するものではありません:コントロール可能な基盤を確立し、ツールやモデルのアップデートごとに再確認するためのものです。
チュートリアルとサイジングツール
このガイドは、実践的な記事シリーズへの入り口となります。「ローカル実行」の道筋は、Windows、macOS、LinuxにローカルAIをインストールすることから始まり、コマンドとAPIに特化したOllamaチュートリアル、そしてOllama vs LM Studioの比較へと進みます。タスクとマシンに応じた最適なローカルAIモデルの選択、およびローカルLLMに必要なRAMとVRAMに関するガイド(数値シミュレーション付き)で補完されます。この点については「どのAIモデルを選ぶか?LLMガイドと比較」で詳述します。
「文書に関する質問」の道筋は、RAGとそのアーキテクチャの詳細な定義から始まり、RAGとファインチューニングの選択、埋め込み、チャンキング、FULLTEXTとベクトルデータベースの比較、文書上でのRAGチャットボット作成、RAGのセキュリティへと進みます。2つの道筋は独立して進めることができます。さらに詳しくは「RAG:定義、アーキテクチャ、具体例」をお読みください。
購入前に測定
グラフィックスカードに投資する前に、手持ちのものでテストしてください。ランチャーをインストールし、小さな量子化モデルをロードし、3つの値を記録します:占有メモリ、生成速度(トークン/秒)(OllamaはAPIのeval_countとeval_durationフィールドで提供)、および使用目的を代表する10問程度の質問に対する回答の品質。次に、検討中のマシンに対する当サイトの計算機の推定値と比較してください。
この方法には限界があります:速度はドライバー、ランチャーのバージョン、モデルのフォーマットによって変動し、フランス語での品質はどのメモリ表にも記載されていません。しかし、自社のデータに基づくという利点があり、ローカルAIやRAGプロジェクトにとっては依然として最良の指標です。
