Llm：言語モデルを評価するための完全ガイド

いくつかの回答を読んで満足するだけでは不十分です。プロンプトの変更、モデルの変更、または文書検索の変更は、気づかないうちに動作を破壊する可能性があり、その後、どの変更が原因かを特定することが難しくなります。評価とは、テストケースを作成し、書かれた基準に従って各回答を採点し、従来のコードの非回帰テストと同様に、変更前後のスコアを比較することです。

LLMの回答は実行ごとに変動し、「良い回答」という概念は文脈に依存します。単体テストは等価性を検証しますが、「30日以内に靴を返品できます」と「配送後1ヶ月間は返品を受け付けます」はどちらも正しいです。本ガイドでは、あいまいな基準に基づく相対的な品質を測定する「評価」と、有効なJSONや禁止語句の不在など二値チェックで本番リリースを検証する「テスト」を区別しています。著者によれば、忠実度スコア0.7でデプロイをブロックすることは、毎週恣意的な閾値について議論するようなものです。

回答を採点する3つの方法

スコアラーは、入力、回答、場合によっては文脈や参照情報からなるテストケースを受け取り、判定または数値を返します。コードスコアラーは、フォーマット、長さ、特定の文字列の存在を確認するために決定論的なルールを適用します。参照ベースのスコアラーは、回答を既知の回答と比較します。BLEUやROUGEなどの重複メトリクスは、例えば正しい言い換えを認識しません。最後に、LLMジャッジは、他のモデルの回答に評価基準を適用する役割を担うモデルであり、トーン、情報源への忠実度、有用性の評価に有効です。

本ガイドでは、ルールで十分な場合はまずコード（スコアラー）から始めることを推奨しています。なぜなら、これらのスコアラーはコストがかからず、常に同じ結果を出すからです。3つのジャッジ構成が説明されています：単一回答に対してラベルやスコアを付与する「単発評価」、2つの回答からより良い方を選択する「ペアワイズ評価」（2つのプロンプトやモデルを比較する一般的な方法）、参照回答が与えられる「参照ガイド付き評価」です。

ジャッジを信頼できるものにする

適切に作成された評価基準がジャッジの質を決定します。本ガイドでは、評価基準を4つの部分（基準の定義、ジャッジが使用できるデータ、従うべき手順、厳格な出力フォーマット（できればJSON））で説明しています。判定の前に推論を行い、サンプリングノイズを減らす（完全には排除しない）ために温度は0に設定します。敏感な基準については、奇数回の実行を行い、多数決による判定を採用することを提案しています。

QAG（質問応答生成）手法では、ジャッジに閉じた質問（はい/いいえ）に答えさせ、計算はコードで行います。例えば、4つの主張のうち3つが裏付けられている回答の忠実度は0.75です。主観的な基準については、G-Eval手法が可能なスコアの確率による加重平均を計算するため、4と5の間で60/40に分かれているモデルは4.4を得ます。LLM出力の判定に関する研究では、バイアス（位置バイアス、冗長性バイアス、同じファミリのモデルに対する自己選好バイアス）が文書化されています。本ガイドでは、回答の順序を逆にする、長さが同等のケースをテストする、別のモデルファミリのジャッジを使用することを提案しています。

キャリブレーションが最も重要なステップです。本ガイドでは、30〜50の回答に自分でラベルを付け、それらのラベルとジャッジのラベルをコーエンのカッパ（偶然による一致を補正する）を用いて比較することを推奨しています。スコア0は偶然レベルの一致、1は完全一致を意味します。約0.6を超えると、一般的に実質的な一致と見なされます。

RAG、エージェント、公開サイクル

RAG（検索拡張生成）システムは、個別に失敗する可能性のある2つのコンポーネント（文脈を検索する検索エンジンと回答を生成する生成器）を組み合わせたものです。本ガイドでは、文脈の精度、再現率、検索された文書に対する回答の忠実度、質問に対する回答の関連性を測定することを提案しています。例えば、高い忠実度と低い再現率の組み合わせは、検索が不十分であることを示します。

エージェントについては、本ガイドはまずタスクの達成度を評価し、次に選択されたツールの正確性、その引数の正確性、冗長な呼び出しやループのない実行経路を検討します。オフライン評価は本番前に行い、25〜50ケースのバージョン管理されたセットを用い、事前に設定された公開基準に基づきます。オンライン評価は実際のトラフィックのサンプルに対して行われます。本番環境で観察された各失敗は、その後、参照テストケースとして追加することができます。