大規模言語モデル(LLM)は、自然言語の分析、予測、生成のために膨大なデータセットで訓練された人工知能システムです。OpenAIのGPT、AnthropicのClaude、GoogleのGeminiなどがよく知られており、文章作成、校正、プログラミングなどに活用されます。ElevenLabsが公開したガイドでは、その仕組み、訓練プロセス、限界について解説しています。
LLMの仕組み
処理はまずトークン化から始まります:テキストはトークンと呼ばれる単位に分割され、その後、数値表現に変換されます。現在のほとんどのシステムはトランスフォーマーアーキテクチャを基盤としており、自己注意機構を用いてトークン間の関係性を評価します。モデルはその後、シーケンスを継続する最も確率の高いトークンを予測します。
訓練は複数の段階で行われます。開発者はまず、インターネットから抽出されたテキストなどから構成され、数兆トークンに及ぶコーパスを準備します。モデルはその後、教師なしで文法、事実関係、言語的コンテキストを学習します。最後に、より小さく専門化されたデータセットで微調整(ファインチューニング)が行われ、人間のレビュアーからのフィードバックに基づく強化学習によって調整されます。情報源によれば、企業は訓練プロセスを機密扱いとし、大半がソースコードや重み(ウェイト)を公開していません。
「温度」と呼ばれる設定は、回答のランダム性の度合いを決定します。低い値では標準的で一貫性のある結果が得られ、高い値ではより多様な出力が生成されます。これはタスクに合わせて調整する必要があります:創造的な作業には高い温度が、データの要約には低い温度が適しています。
アーキテクチャと用途
モデルは大きく3つのカテゴリーに分類されます:テキスト分類や意味検索に有用なエンコーダーのみのモデル、対話型チャットボットやコード生成ツールの基盤となるデコーダーのみのモデル、翻訳や文書要約に適したエンコーダー・デコーダーハイブリッドモデルです。いわゆる「Mixture of Experts」(MoE)アーキテクチャは、各トークンを専門化された小さなサブネットワークに振り分けます。一方、Mambaのような状態空間モデルは、非常に長いテキストを効率的に処理します。
用途は多様化しています。Bing、Google AI Overviews、Perplexityなどの会話型検索エンジンは、これらのモデルを利用してウェブをリアルタイムで分析します。GitHub Copilotは関数を補完し、コードをある言語から別の言語へ翻訳します。Grammarlyは文章を磨き上げ、NotebookLMは長いレポートを要約します。
明確に認識された限界
LLMにはいくつかの限界があります。その回答の正確性は保証されておらず、でたらめな情報や誤った情報を含む可能性があります。これは「幻覚」現象と呼ばれます。モデルを外部データベースに接続するRAG(検索拡張生成)がなければ、その知識は訓練中に獲得されたものに限定されます。また、モデルはデータに存在するバイアスを再現し、一度に処理できるテキスト量であるコンテキストウィンドウは固定されています。最後に、モデルが大きくなるほど、より多くの計算能力が必要となり、コストと遅延が増大します。ElevenLabsによれば、RAGの統合は、知識が固定化される問題を緩和する可能性があります。
