Toute intelligence artificielle peut se tromper, et aucun comparatif ne dira laquelle se trompera sur la réponse qui compte. Pour les entreprises, la question du choix d’une IA se pose donc usage par usage, selon ce qu’une erreur engagerait. Une méthode fondée sur une analyse d’impact permet de trancher.
- Toute IA peut se tromper, et aucun comparatif ne dit laquelle se trompera sur la réponse qui compte.
- Le choix d’un outil se fait usage par usage, selon ce qu’une erreur engagerait.
- Une erreur coûte dès qu’une personne la signe au nom de l’entreprise.
- Une autre IA, appuyée sur les sources, peut contrôler les réponses, et un humain tranche les désaccords.
Prenons un questionnaire de sécurité envoyé par un grand client, avec une longue liste de questions et une échéance courte. Une équipe le remplit avec l’aide d’une IA, relit rapidement, puis le responsable de la sécurité signe. À la question « les sauvegardes sont-elles chiffrées ? », l’IA répond oui, en s’appuyant sur une politique qui a depuis changé. Personne ne le remarque. Le client, lui, le verra lors du premier audit, et la question ne sera plus de savoir si l’IA s’est trompée, mais qui a signé, et sur la foi de quoi.
Une erreur d’IA se rattrape tant qu’elle reste un brouillon. Elle coûte dès qu’une personne l’a engagée sous l’en-tête de l’entreprise. La même IA, avec le même taux d’erreur, peut être sans conséquence dans une note interne et dangereuse dans une réponse adressée à un client. C’est pourquoi le choix de l’outil doit être fait pour chaque usage.
Quatre niveaux, une seule question
La méthode consiste à se demander, pour chaque usage, ce qui est engagé si la réponse est fausse et que personne ne s’en aperçoit. Quatre réponses sont possibles. Rien, dans le cas d’une note interne, d’une reformulation ou d’un brouillon relu de toute façon. Du travail, lorsqu’il faut reprendre un document et perdre du temps, sans engagement pris. Un engagement, avec une réponse contractuelle, une déclaration à un client ou une offre. Enfin une exposition, avec un reporting réglementaire, une attestation de conformité ou un document produit sous le contrôle d’une autorité.
Le comité de direction n’a pas à chiffrer le coût de chaque erreur, car aucune source ne le donne à l’avance. Il doit décider, pour chaque niveau, ce que l’entreprise accepte : signer sans vérification, exiger de voir la source, ou refuser qu’une machine produise le contenu. Il s’agit d’une décision de tolérance au risque, prise usage par usage et non une fois pour toutes pour « l’IA ».
À chaque niveau, son outil
Pour les deux premiers niveaux, une IA générative grand public peut convenir, dans les limites de ce que l’on peut lui confier sans risque. Pour les deux suivants, la rapidité ne suffit plus et trois exigences s’imposent : que chaque affirmation cite le document, la page et la version dont elle est tirée ; que le système sache indiquer qu’il ne peut pas répondre, car une réponse fausse se paie devant un auditeur ; et qu’une personne nommée valide le contenu, avec une signature tracée.
L’auteur ajoute une quatrième exigence : la vérification ne doit pas être confiée au modèle qui a rédigé. Des chercheurs l’ont montré lors de la conférence ICLR 2024, et une étude plus récente va dans le même sens : la vérification gagne en efficacité lorsque celui qui contrôle ressemble moins à celui qui a répondu. Le contrôle peut donc être assuré par une autre IA, spécialisée sur le métier et les documents de l’entreprise, qui vérifie chaque affirmation contre sa source et signale ce qu’elle ne peut pas établir. Un désaccord entre les deux IA ne fournit pas la bonne réponse, mais indique l’endroit où un humain doit regarder. Ce contrôle s’exécute dans l’espace protégé de l’entreprise, et non chez un tiers.
Ce que le comité décide
L’ordre de la démarche compte. Il faut d’abord inventorier les usages et déterminer, pour chacun, ce qu’une erreur silencieuse engagerait. Vient ensuite la tolérance au risque, niveau par niveau. L’outil n’intervient qu’en dernier, dimensionné sur cette tolérance et non sur la démonstration du fournisseur.
Revenons au questionnaire. Avec cette méthode, la réponse sur les sauvegardes aurait mentionné la référence de la politique, sa version et sa date. Une seconde IA, ou le relecteur attentif à cette date, aurait constaté que la version citée n’était plus la dernière, et le responsable de la sécurité aurait signé en connaissance de cause. La machine se serait tout de même trompée, mais quelqu’un l’aurait su avant le client.
