Cette page est en noindex, les liens sont nofollow et l’article n’est lié depuis aucune page du site.
Un agent d’intelligence artificielle peut produire une réponse convaincante et engager une action que personne ne lui avait réellement confiée. Selon l’analyse publiée ici, c’est la frontière entre capacité technique et autorité déléguée qui doit devenir un objet central de la gouvernance de l’IA.
L’auteur prend l’exemple fictif d’une entreprise qui confie à un agent l’analyse de réclamations clients. Pour accélérer le traitement, elle lui donne accès à son CRM, c’est-à-dire à son outil de gestion de la relation client, puis à un outil de remboursement. L’agent recommande d’abord des gestes commerciaux, avant de les exécuter dans les limites techniques de ses accès. Or, pouvoir déclencher un paiement ne signifie pas avoir reçu le mandat de décider de ce paiement.
La qualité des réponses ne suffit pas à gouverner l’action
L’évaluation d’un modèle et celle de son autorité répondent à deux questions différentes. La première porte sur la pertinence ou l’exactitude d’un résultat, la seconde sur la légitimité d’une action dans une situation donnée. Une recommandation exacte peut dépasser le mandat d’un agent, tandis qu’une recommandation incertaine peut rester sans conséquence si son exécution est correctement encadrée.
Pour une direction générale ou une DSI, la question devient concrète : quelles décisions le système peut-il prendre, avec quels moyens, au nom de qui et jusqu’à quel point ? Une liste d’outils autorisés constitue un début, mais elle ne précise pas les conditions d’utilisation acceptables. Un accès au CRM peut servir à consulter un dossier, à modifier une donnée ou à exporter des contacts. Ces opérations n’ont ni la même finalité ni les mêmes conséquences, et la gouvernance doit les relier à un mandat explicite.
L’érosion du contrôle se construit dans les enchaînements
L’auteur parle d’érosion du contrôle lorsque la capacité réelle des responsables à comprendre, limiter et corriger les actions diminue au fil du fonctionnement du système. Un agent collecte des informations, un second les synthétise, un troisième prépare une décision et un quatrième l’exécute. Chacun peut respecter son rôle immédiat, alors que l’ensemble peut produire une conséquence que le responsable initial n’avait pas envisagée. Une hypothèse devient une donnée de travail, cette donnée devient une justification, puis la justification déclenche une action.
La dérive d’autorité peut rester discrète. Elle apparaît lorsqu’un système élargit de fait son périmètre, par exemple en transformant une instruction d’analyse en autorisation d’exécution. Le bon niveau d’observation est donc la chaîne qui relie le mandat humain à la conséquence finale. La présence d’un bouton de validation ne suffit pas à établir un contrôle effectif : le superviseur doit disposer d’informations compréhensibles, d’un temps suffisant et de moyens d’intervention adaptés. Dans l’exemple du remboursement, la validation devrait intervenir avant l’opération et présenter le montant, le motif, les incertitudes et la règle applicable.
Organiser un contrôle vérifiable
L’auteur propose cinq exigences. D’abord, formuler le mandat : objectif, périmètre, durée et actes exclus, car « traiter les réclamations » est trop large si les décisions autorisées ne sont pas précisées. Ensuite, faire correspondre les permissions au mandat, en limitant les accès aux opérations nécessaires et en pouvant les retirer à la fin de la mission. Il faut aussi placer les contrôles avant les conséquences difficiles à corriger, par exemple au moyen d’un seuil de montant ou d’un changement de destinataire. Vient ensuite la conservation d’une trace exploitable, proportionnée et protectrice des données. Enfin, il faut tester la capacité de reprise, car certaines conséquences étant irréversibles, la possibilité d’arrêter le système doit être évaluée avant le déploiement.
Les règles de supervision peuvent elles-mêmes devenir inadaptées lorsque le volume, les outils ou les responsabilités changent. Un moteur de règles déterministe peut rendre certaines vérifications reproductibles, sans garantir la qualité des faits reçus ni la pertinence des règles. Avant d’étendre l’autonomie d’un agent, les décideurs devraient pouvoir démontrer qui lui a donné le droit d’agir, dans quelles limites et comment reprendre la main.
