企業のAIシステムが信頼性の低い回答を提供するとき、通常の診断はモデルに原因を求める。しかし、元の記事によれば、より頻繁に発生し、発見が難しい失敗は別のところにある。大規模言語モデル（LLM）は、誤って選択されたコンテキストから正しく推論することができる。
最も一般的な対策は、より強力なモデル、より長いプロンプト、より多くの検索ドキュメント、あるいはモデルが一度に処理できる情報量であるコンテキストウィンドウの拡大である。それぞれが役立つ可能性はあるが、どれもこの問題を直接解決するものではない。分析システムにおいて、計算は正しく、説明は首尾一貫しているにもかかわらず、回答が誤っている場合がある。システムが誤った証拠を選択したり、テーブル間の誤ったリンクをたどったり、ビジネス用語の曖昧な定義をユーザーが意図していない解釈で適用したりするからだ。エラーはあらゆる計算以前に発生する。
簡単な質問を例に取ろう。カムは1日平均何時間働いているか？「日」という言葉は定義されていない。それは期間内の各暦日、標準化された労働年、各スケジュール記録、あるいはカムが実際に働いた各日付を意味する可能性がある。総労働時間を暦日数で割ると、カムに休日がある場合、実際の労働日数で割るよりも低い平均値が得られる。合計が一致するかどうかを確認する従来のチェックでは、この分母の誤った選択を必ずしも検出できない。
ビジネス上の質問、分析プログラム
「今四半期、どのブランドが信頼度を向上させたか？」という質問は、単純な検索のように見える。しかし、これに答えるにはいくつかの点を決定する必要がある。アンケートのどの質問が信頼度を測定しているか、どの調査ウェーブが「今四半期」を構成するか、回答者の範囲は何か、結果が加重されているか、そして何が改善とみなされるかである。
記事は例示的なケースを取り上げる。2つのクロス集計表が要求に合致しているように見え、その説明はわずかな言葉の違いしかない。1つ目は加重されており、全回答者を対象とし、わずかな上昇を示している。2つ目は非加重で、ブランドを知っている回答者のみを対象とし、わずかな低下を示している。類似性に基づく検索ツールはこれらをほぼ同等にランク付けするだろう。最初の結果を採用するシステムは、出典があり論理的な回答を提供するが、それは誤っている可能性があり、その選択が最終結果に現れることはない。一方、探索に基づくシステムは、母集団と加重の違いを認識し、ユーザーにどの範囲を採用するかを尋ねる。この明確化の質問にかかるコストは、著者によれば、正しいものに見える誤った数値のコストよりもはるかに低い。
システムを測定するベンチマーク
研究も同じ方向を示している。Spider 2.0は、実際のワークフローから抽出された632の問題からなる企業向けtext-to-SQLベンチマークで、2024年末に公開された。その最高性能システムである、o1-preview上に構築されたエージェントは、タスクの約17％を解決した。これは、オリジナルのSpiderベンチマークにおける最高システムの約91％と対照的である。ランキングはその後進化している。Snowトラックは96.7％のスコアを表示しており、これはベンダーから提出されたエージェントシステムによるものである。スコアは各チーム自身によって提出され、記事は最高の結果がモデル単体ではなく、モデルを中心に設計されたシステムに依存していると指摘している。
コンテキストを長くすることも十分ではない。Chromaによる「Context Rot」と題された研究は、入力長が増加するにつれて、モデルが単純なタスクにおいてさえ信頼性を失い、見かけが類似した妨害要素が問題を悪化させることを発見している。
山ではなく探索
不確実性に直面したとき、反射的にモデルにより多くの情報を提供しようとする。しかし、これは競合する解釈を増殖させる可能性がある。記述されているアプローチは、コンテキストを順序立てて整理することである。まず調査の意図、次にアンケートの構造、質問とその定義、セグメント、市場、ウェーブ、加重ルール、そして最後に証拠を含むクロス集計表。各層は先行する層の制約を継承する。
Anthropicは、コンテキストエンジニアリングをプロンプトエンジニアリングの自然な延長として提示し、有限のリソースと見なされるエージェントのコンテキスト全体の管理として定義している。記事はこの枠組みを適切と判断するが、それを一段階上流に位置づける。それは、質問が何を意味し、どの証拠がそれに答えられるかを知ることである。ブランド信頼度のケースでは、アプローチは5段階をたどる。意図を解決し、調査ルールを適用し、情報源を特定し、探索経路を検証し、その後、許可されたツールで計算し、結果をその定義、回答者ベース、加重、情報源とともに提示する。
著者は最後にトレーサビリティを強調する。あらゆる結果は、そのソーステーブル、定義、フィルター、加重、期間、および使用された計算に遡れる必要がある。
