企業におけるAIプロジェクトのパフォーマンスは、成果物ではなく、ビジネス成果（納期、品質、修正、コスト、再割り当て時間）で測られるべきだ。これは、企業システムアーキテクトであり、AIと組織変革に関するエッセイ『La Couche IA』の著者であるアレクサンドル・ルイスの主張である。彼によれば、プロセスを自動化するよりも、時には廃止する方が望ましい場合がある。
AIのデモンストレーションには共通の弱点がある：ドキュメントが生成された時点で終わることが多い。要約が数秒で表示され、表が自動的に埋まり、メールがほぼ独力で作成される。しかし、著者によれば、成果物の作成がビジネス成果ではない。変革を測定するには、その後何が起こるか（承認、エラー、修正、意思決定、満足度、コスト）を観察する必要がある。
成果物を超えた5つの指標
最初の指標は、要求から解決までの完全な所要時間である。メモの作成に20分短縮しても、3日間保留されている案件は変わらない。2番目の指標は修正率である：迅速に生成された回答が2回修正されると、遅くても信頼性の高い回答よりもコストがかかる可能性がある。
3番目の指標は意思決定の質に関する。100の推奨事項を生成しても、いかなる判断にも役立たなければ価値はない。4番目は再割り当て時間に関する：チームは実際に顧客関係、トレーニング、またはより複雑な案件に専念できたか？5番目は完全コストであり、ライセンス、統合、監視、リスク、更新、メンテナンスを含める必要がある。
集団に吸収される個人の利益
マイクロソフトリサーチによる6,000人の従業員を対象としたランダム化比較試験では、メールに費やす時間は減少したが、会議時間に有意な変化はなかった。著者によれば、教訓は「AIが機能しない」ことではなく、個人の利益が変わらない集団の慣行に吸収される可能性があることだ。カスタマーサポート支援に関するNBERの研究も、利益がプロファイルとタスクによって異なることを示している。
自動化よりも廃止を
これらの指標は、時として直感に反する決定、つまり、廃止する方が簡単なステップを自動化しないという決定につながる可能性がある。複数のアクションを単独で連鎖実行できるAIプログラムであるエージェントを構築し、案件を3つのチーム間で転送する前に、意思決定の責任を明確にしないのはなぜか？AI戦略は、本番環境での自動化の数ではなく、持続可能なビジネス成果のコストと質によって評価されるべきだ。
