Ai可視性:数値結果を信じる前に自問すべき3つの質問

Ai可視性:数値結果を信じる前に自問すべき3つの質問
1 分の読書

AI可視性サービスプロバイダーはパーセンテージでの上昇を発表するが、経営者がそれを検証する手段はほとんどない。しかし、3つの質問で選別は可能だ:測定対象の質問は作業前に設定されたか、対照質問は追跡されたか、計算方法は前後で同じか?

同じプロバイダーが、採用した計算式によって、同じ顧客事例を+24.7%とも+30.4%とも表示する。また、検索結果からのオーガニックトラフィックとAIからのトラフィックを合算することで、90日でトラフィック+30%を約束する。これらの数字を単独で見ても、ChatGPT、Perplexity、Googleの回答において、作業が実際に何を生み出したかはわからない。

困難は、このテーマそのものの性質にある:AIの回答は誰も触れていないのに変化する。2026年9月、Orbit MediaはB2B購買者の同じ72の質問を2日間隔で2回投げかけた。2回の測定の間で、Perplexityは引用していたページのうち65%しか保持しなかった。したがって、上昇は単にこの変動を反映しているだけかもしれない。

測定対象の質問は作業前に設定されたか?

結果が意味を持つのは、質問リストが最初の測定前に作成され、日付が記されている場合のみだ。事後に選ばれたリストは、実際には進歩した質問だけを選りすぐることになる。

購買者が投げかける可能性のある100の質問のうち、偶然か作業のおかげで、常にいくつかは上昇する。それらだけを見せればよい。したがって、完全なリスト、その日付、およびそれがどのように構成されたかを尋ねる必要がある。私たちの業務では、質問は顧客の購買者が尋ねることに基づいており、営業電話、サポート、Search Consoleから得られ、開始測定前に署名された文書に固定される。

対照質問は追跡されたか?

対照質問は測定されるが、作業対象にはならない。これらは、作業の効果とAI固有の変動を分離する:もし他の質問と同じくらい上昇するなら、作業は関係ない。

検索エンジンがモデルを変更したり、競合が比較記事を公開したり、業界ディレクトリが更新されたりすると、回答は変化する。対照群がなければ、この変動は結果として扱われる。私たちの業務では、各コーパス(追跡される質問の集合)には、開始測定前に選ばれ、評価まで決して作業されない対照群が含まれる。

計算方法は前後で同じか?

上昇は、同じ方法で実施された2回の測定の間でのみ読み取れる:同じ質問、同じ検索エンジン、同じ試行回数、同じ計算単位。

合算トラフィックはその例だ:Googleの検索結果での好調な時期があれば、ChatGPTでの引用が1つも増えなくても、それを上昇させるのに十分である。試行回数も同様に重要だ。2026年9月24日、フランスのコンタクトセンターソフトウェア企業の依頼で、私たちは購買者の10の質問をChatGPTに投げかけ、それぞれ同じ日に5回ずつ行った。ブランドは50回の回答のうち1回に登場した:1回の測定だけでは、その存在も不在も結論づけられたかもしれない。

逆に、同じ条件で行われた比較は議論の余地なく読み取れる。この同じ顧客において、Perplexityでのシェア・オブ・ボイス(測定された回答においてブランドが占める割合)は、同じ20の質問のコーパスに対して、各測定で3回ずつ投げかけ、1.7%から5.0%に上昇した。数字は控えめだが、再現性がある。

契約前に、3つの要素を書面で要求する必要がある:日付入りの質問リスト、対照群、計算式。真剣に測定するプロバイダーは、すでにこれらを手にしている。

S’abonner
Notification pour
guest

0 Commentaires
Le plus ancien
Le plus récent Le plus populaire
0
Nous aimerions avoir votre avis, veuillez laisser un commentaire.x