あなたはどのようなミスに署名する覚悟がありますか？

例えば、大クライアントから送られてきた、質問が長々と並び、締切が短いセキュリティ調査票を考えてみましょう。チームはAIの助けを借りて記入し、ざっと見直した後、セキュリティ責任者が署名します。「バックアップは暗号化されていますか？」という質問に対して、AIは既に変更されているポリシーに基づいて「はい」と回答します。誰もそれに気づきません。しかし、クライアントは最初の監査でそれを見つけ、問題はAIが間違ったかどうかではなく、誰が何を信じて署名したか、ということになります。

AIのミスは、それが単なる下書きの段階にある限りは取り返しがつきます。しかし、誰かが会社の名義でそれを確定させた瞬間から、コストが発生します。同じAIが、同じ誤答率でも、社内メモでは無害でも、クライアントへの回答では危険になり得ます。だからこそ、ツールの選択は用途ごとに行うべきなのです。

4つのレベル、たった1つの問い

この方法は、各用途において、回答が誤りで誰もそれに気づかなかった場合、何が確定されるかを自問することです。4つの可能性があります。社内メモ、言い換え、あるいはとにかく見直される下書きのような場合は「何もない」。文書をやり直し時間を失うが、何の約束もしていない場合は「作業」。契約上の回答、クライアントへの表明、提案書など、約束を伴う場合は「確約」。規制報告書、適合性宣言書、当局の監視下で作成される文書など、リスクにさらされる場合は「開示」。

経営委員会は、各ミスのコストを算出する必要はありません。なぜなら、事前にその数字を示せる情報源はないからです。委員会が決めるべきは、各レベルにおいて、企業が何を許容するかです：検証なしで署名するか、情報源の提示を要求するか、機械によるコンテンツ生成を拒否するか。これは、「AI」全般に対する一度きりの決定ではなく、用途ごとに行うリスク許容度の決定です。

レベルごとに適したツールを

最初の2つのレベルでは、リスクなく委ねられる範囲内で、汎用生成AIが適しているかもしれません。しかし、次の2つのレベルでは、スピードだけでは不十分で、3つの要件が求められます：各主張が、引用元の文書、ページ、バージョンを明示すること；システムが「回答できない」と表明できること（誤った回答は監査人を前にして代償を払うことになるため）；そして、指名された人物が追跡可能な署名付きで内容を承認すること。

著者は4つ目の要件を追加します：検証は、文章を生成したモデル自身に委ねてはならない。研究者らがICLR 2024カンファレンスでこれを示し、より最近の研究も同様の方向性を示しています：検証者は、回答者と似ていないほど、検証の効率が上がるのです。したがって、検証は別のAI、例えば企業の業務や文書に特化したAIによって行うことができます。それは各主張を情報源と照合し、確認できない点を報告します。2つのAIの間で意見が分かれた場合、正しい答えが得られるわけではありませんが、人間が注目すべき箇所を示してくれます。この検証プロセスは、第三者ではなく、企業の保護された環境内で実行されるべきです。

経営委員会が決めること

このアプローチの順序が重要です。まず、用途をリストアップし、それぞれについて、気づかれないミスが何を確定させるかを判断します。次に、レベルごとのリスク許容度を決めます。ツールの選択は最後で、ベンダーのデモンストレーションではなく、この許容度に基づいて決定されます。

調査票の例に戻りましょう。この方法を用いれば、バックアップに関する回答は、ポリシーの参照番号、バージョン、日付を記載していたでしょう。2つ目のAI、あるいはその日付に注意深いレビュアーが、引用されたバージョンが最新でないことに気づき、セキュリティ責任者は十分な情報を得た上で署名できたはずです。機械は依然として間違っていたかもしれませんが、誰かがクライアントよりも前にそのことに気づいていたでしょう。