Les agents d’intelligence artificielle posent des problèmes que l’IA générative seule ne pose pas, et leur observation pendant qu’ils travaillent devient donc à la fois plus difficile et plus importante. Des chercheurs issus du monde académique, de la société civile et de l’industrie ont examiné les signaux émis par les quatre frameworks d’agents les plus utilisés, et y ont relevé des lacunes importantes.
- Les agents IA posent plus de risques que l’IA générative, car ils enchaînent des actions et héritent de l’imprévisibilité des grands modèles de langage.
- Les frameworks actuels ne permettent pas de savoir quel agent a agi, ni s’il a agi sans autorisation.
- Il faut enregistrer à la fois ce qui s’est passé et le raisonnement de l’agent, en s’appuyant sur OpenTelemetry.
- Le standard reste à finaliser, notamment pour l’identité des agents et les interventions humaines, avant tout déploiement à grande échelle.
Contrairement à un système d’IA générative, qui produit une seule réponse qu’un humain doit ensuite exploiter, un agent enchaîne des tâches plus longues : il planifie, choisit des outils, crée des sous-agents et exécute des actions. Un agent repose en outre sur des grands modèles de langage (LLM), dont il hérite l’imprévisibilité. Son déroulement peut donc prendre des formes très variées, et aucun test effectué avant le lancement ne permet d’anticiper pleinement les risques.
Selon les auteurs, ces frameworks ne permettent pas de repérer facilement des violations de règles, des actions non autorisées ou des défaillances de la supervision humaine. Plusieurs éléments indispensables à l’observation font défaut, comme des identifiants d’agents persistant dans le temps, ou des enregistrements indiquant quels humains ont approuvé telle tâche. Dans ces conditions, il devient difficile de savoir quel agent a fait quoi et de vérifier s’il a agi sans autorisation.
Deux types de traces
Les chercheurs estiment que ces lacunes peuvent être comblées, à condition de commencer par enregistrer deux types de traces. Les premières décrivent ce qui s’est passé pendant l’exécution : elles identifient l’agent tout en préservant la vie privée, consignent les interventions humaines et indiquent si les permissions de l’agent ou sa « mémoire » ont changé. Les secondes concernent les décisions : elles retracent le raisonnement de l’agent et son niveau de confiance dans les actions qu’il a menées.
Les auteurs prennent l’exemple d’agents chargés de traiter les demandes de prêts immobiliers d’une banque. Le système examine un dossier et recommande de le refuser, puis un conseiller humain valide la décision. Lors d’un audit ultérieur, voire en temps réel, la banque ou un régulateur doit pouvoir reconstituer quel agent a pris la décision, quel conseiller l’a approuvée et combien de temps cela a pris. La banque doit aussi analyser comment l’agent est parvenu à son refus, afin de s’assurer qu’il n’a pas utilisé d’informations interdites, comme des données sur le quartier d’origine du candidat.
Selon l’article, enregistrer « ce qui s’est passé » et « comment l’agent a décidé » suppose des approches différentes, mais les deux sont réalisables. L’absence actuelle de traces du premier type relève surtout de la plomberie logicielle. Elle peut être traitée grâce à OpenTelemetry, un standard ouvert d’observabilité, maintenu par des ingénieurs de toute l’industrie et adopté progressivement par les frameworks d’agents.
Un standard encore en chantier
OpenTelemetry a lancé un groupe de travail chargé de rédiger des formats communs pour le traçage des agents, mais ces formats ne sont pas encore finalisés. Selon les auteurs, ce groupe devrait intégrer d’urgence des normes pour la persistance de l’identité des agents, ainsi que pour l’enregistrement des interventions humaines et des changements de permissions ou de mémoire. Ce travail devrait être achevé avant que ces systèmes ne soient déployés à grande échelle. Il devra aussi tenir compte des implications pour la vie privée d’un identifiant d’agent relié à des personnes réelles.
