可視性はリストに載せるが、証拠がそこに留まらせる

コンサルタントは、複数の製品カテゴリーと購買者セグメントをカバーする、基準に基づいた詳細な38のクエリを構築した。これらのクエリは5つのAIインターフェースで評価され、190の回答が得られた。それらは、購買者がベンダーリストを絞り込む際に使用する基準——ワークフローへの適合性、統合機能、規制要件、相互運用性、分析機能など——を反映していた。著者によると、購買責任者との対話を経て、一部のクエリはさらに長くなったという。

可視性の結果は高かった。当該企業は評価された回答の98.4%で言及され、93.2%のケースで主要な推奨または事前選抜リストに記載されていた。しかし、これらの同じ回答を意思決定基準と照合すると、73.7%の回答において、重要な主張を裏付ける証拠が弱い、または欠如していた。15.8%のケースでは、「重大」または「致命的」と評価される欠陥が指摘された。

意思決定には不十分な可視性

著者によれば、どのベンダーが市場で活動しているかを尋ねるのと、技術的、運用的、規制的、商業的要件の正確な組み合わせに対応できるベンダーを尋ねるのとでは、明確な違いがある。AIモデルは企業を知っていて事前選抜リストに載せることができても、購買者が統合の仕組みや製品の限界について問い合わせた瞬間に、必要な情報を持っていない可能性がある。これらの質問は、単なるキーワードではなく、証拠の要件に関わるものだと彼は指摘する。

したがって、数字は矛盾していない：それらは意思決定プロセスの異なる2つの段階を測定している。可視性は企業を議論の場に引き込むが、意思決定能力は、AIが企業をそこに留まらせるのに十分な要素を持っているかどうかを決定する。

能力よりも証拠

調査によると、証拠の弱さは、必ずしも企業がその能力を持っていないことを意味しない。多くの場合、能力は存在しているように見えたが、利用可能な情報がAIの信頼性レベルを満たすほど十分に説明していなかった。例えば、エンドツーエンドのプロセスを約束していても、そのプロセス、接続、データフローが記述されていなければ裏付けがない。情報が断片的で、モデルが結論を出す前に複数のページを関連付けなければならない場合もある。

著者は、社内オリジナルの製品ドキュメントが、機能が存在することを示す最良の証拠となり得ると補足する。一方、優位性、効率性、採用実績、測定可能な結果に関する主張は、顧客、アナリスト、独立した第三者によって裏付けられることで価値が増すと述べる。また、類似コンテンツの一般化——彼が「コンテンツの同等性」と呼ぶもの——は、企業をカテゴリーに入れることはできても、詳細な評価に耐えられるようにするものではないと付け加える。

最後に彼は、「証拠のために整形された」コンテンツ——長いページ、表面的な図表、信頼性の低い調査、AI生成のケーススタディなど——を作成する誘惑に警戒を促す。目的は、購買者の不確実性を減らす実際の情報を提供することだと彼は主張する。もし情報が知識のある顧客の意思決定を助けないのであれば、単にGEOスコアを向上させるためだけに存在すべきではない。

購買者を最後まで測定する

コンサルタントは、AIの最初の応答だけを測定するだけでは不十分だと考える。「よくある質問」タイプのクエリは選択肢リストを作成するのに有用だが、現在のツールはユーザーが連続して投げかける質問の連鎖を追跡しない。彼は、これらの連続した対話から生じる多変量の組み合わせを「プロンプト・マス」と呼ぶ。GEOの測定は、可視性と意思決定能力の両方を統合すべきだと彼は考えている。