La performance d’un projet d’IA en entreprise ne se mesure pas aux livrables produits, mais aux résultats métier : délais, qualité, reprises, coûts et temps réaffecté. C’est la thèse défendue par Alexandre Ruiz, architecte des systèmes d’entreprise et auteur de La Couche IA, un essai consacré à l’intelligence artificielle et à la transformation des organisations. Pour lui, supprimer un processus est parfois préférable à son automatisation.
- La performance d’une IA se mesure aux résultats métier, pas aux livrables produits.
- Il faut suivre cinq indicateurs au-delà du livrable : délai, reprises, décisions, temps réaffecté et coût complet.
- Un gain individuel peut être absorbé par des pratiques collectives inchangées.
- Parfois, supprimer une étape vaut mieux que l’automatiser.
Les démonstrations d’IA ont une faiblesse commune : elles s’arrêtent souvent au moment où le document est généré. Une synthèse apparaît en quelques secondes, un tableau se remplit automatiquement, un e-mail se rédige presque seul. Or, pour l’auteur, la création du livrable n’est pas le résultat métier. Pour mesurer une transformation, il faut observer ce qui se passe ensuite : validation, erreur, reprise, décision, satisfaction et coût.
Cinq indicateurs au-delà du livrable
Le premier indicateur est le délai complet entre une demande et sa résolution. Gagner vingt minutes sur la rédaction d’une note ne change pas un dossier en attente trois jours. Le deuxième est le taux de reprise : une réponse produite vite mais corrigée deux fois peut coûter davantage qu’une réponse lente et fiable.
Le troisième indicateur porte sur la qualité de la décision. La production de cent recommandations ne vaut rien si elles n’éclairent aucun arbitrage. Le quatrième concerne le temps réaffecté : les équipes ont-elles réellement pu se consacrer à la relation client, à la formation ou à des dossiers plus complexes ? Le cinquième est le coût complet, qui doit intégrer licences, intégration, supervision, risques, mises à jour et maintenance.
Un gain individuel absorbé par le collectif
Un essai randomisé de Microsoft Research auprès de 6 000 salariés a observé une baisse du temps passé sur les e-mails, mais pas de changement significatif du temps de réunion. La leçon, selon l’auteur, n’est pas que l’IA ne fonctionne pas : un gain individuel peut être absorbé par des pratiques collectives inchangées. Les travaux du NBER sur l’assistance au support client montrent également que les bénéfices varient selon les profils et les tâches.
Supprimer plutôt qu’automatiser
Ces indicateurs peuvent conduire à une décision parfois contre-intuitive : ne pas automatiser une étape qu’il serait plus simple de supprimer. Avant de construire un agent, c’est-à-dire un programme d’IA capable d’enchaîner seul plusieurs actions, qui transmet un dossier entre trois équipes, pourquoi ne pas clarifier la responsabilité de la décision ? Une stratégie IA ne se juge pas au nombre d’automatisations en production, mais au coût et à la qualité d’un résultat métier durable.
