Comment évaluer des agents IA en entreprise

Comment évaluer des agents IA en entreprise
3 min de lecture

Un agent d’IA qui impressionne en démonstration peut échouer dès qu’il est confronté à de vrais utilisateurs et à de vraies données. Dans un guide publié par Analytics Vidhya, l’évaluation de ces systèmes est présentée comme une démarche en cinq couches, qui va de la vérification du résultat final à la surveillance en production.

Selon le guide, un agent peut choisir le mauvais outil, boucler sur une interface de programmation (API) qui échoue, exposer des données qu’il ne devrait pas voir ou inventer un chiffre dans un rapport. Évaluer un agent est un exercice différent de l’évaluation d’un modèle de langage, car chaque étape entre l’objectif et le résultat peut échouer.

Définir ce que signifie « réussir »

Avant d’écrire le moindre test, le guide recommande de définir le succès. Il propose de répondre à quatre questions : quelle est la tâche, qu’est-ce qui compte comme terminé, qu’est-ce qui ne doit jamais se produire et quel est le coût d’une erreur. Une mauvaise réponse dans une foire aux questions interne est peu coûteuse, alors qu’une mauvaise action dans un agent de paiement ne l’est pas.

Ce coût fixe le niveau d’exigence. Un agent à faible risque peut être mis en service avec 90 % de réussite des tâches, les autres cas étant relus par un humain. Un agent à haut risque peut nécessiter 99 % et plus sur les parcours critiques, ainsi qu’un blocage ferme de certaines actions, quelle que soit la volonté du modèle.

Cinq couches à vérifier

La première couche porte sur le résultat : l’agent a-t-il accompli la tâche ? Le guide conseille de contrôler l’état réel, par exemple le calendrier, plutôt que la déclaration de l’agent. La deuxième concerne la trajectoire, c’est-à-dire la suite des actions. Deux agents peuvent aboutir à la même réponse, l’un en quatre étapes, l’autre en 19, et le nombre d’étapes ne suffit pas à les départager. On examine alors les boucles, le choix des outils, la justesse des paramètres et la manière dont l’agent se remet d’une erreur.

La troisième couche isole les composants défaillants : planificateur, récupération documentaire, outils, mémoire et génération de la réponse. Pour un système de génération augmentée par récupération (RAG), qui s’appuie sur des documents externes, le guide cite les mesures recall@k et precision@k. La quatrième couche porte sur la sécurité : injection d’instructions malveillantes dans un document lu par l’agent, fuite de données, respect des droits d’accès et des règles de l’entreprise, traitement des données personnelles. Le guide insiste sur un point : les permissions doivent être appliquées dans le code, en dehors du modèle, et ne jamais reposer sur le seul prompt. La cinquième couche est opérationnelle : latence, coût par tâche, fiabilité et tenue sous charge.

Juges, humains et métriques

Pour noter les résultats, le guide distingue trois méthodes : les contrôles programmés, les « LLM-as-judge », où un modèle de langage note une réponse selon une grille, et la relecture humaine. Les juges automatiques présentent des biais connus, comme la préférence pour la première réponse d’une comparaison ou pour la réponse la plus longue.

Les mesures de fiabilité distinguent deux indicateurs. Le pass@k est la probabilité qu’au moins une des k tentatives réussisse, tandis que le pass^k est la probabilité que toutes réussissent. Dans l’exemple du guide, avec une réussite de 80 % à chaque tentative, supposée indépendante, la probabilité qu’au moins une des cinq tentatives réussisse est d’environ 99,97 %, contre environ 32,8 % pour la réussite des cinq tentatives. Le guide recommande enfin de revoir les échecs chaque semaine et d’ajouter chaque nouveau cas au jeu de test.

S’abonner
Notification pour
guest

0 Commentaires
Le plus ancien
Le plus récent Le plus populaire
0
Nous aimerions avoir votre avis, veuillez laisser un commentaire.x