Pretxt, qui a des bureaux à Aspen (CO) et à Dublin (Irlande), sort de l’anonymat avec une levée de fonds d’amorçage de 5 millions de dollars, réunie auprès de Deciens Capital, Howdy Partners et Service Provider Capital. La jeune société s’inscrit dans une catégorie émergente : celle des technologies destinées à empêcher les agents d’IA de sortir de leurs garde-fous et de causer des dommages non voulus.
Selon la source, l’IA se rapproche davantage d’une personne que d’un programme informatique classique. Elle reçoit des instructions, les interprète, peut les mal interpréter et y répond, parfois de façon ambiguë. C’est la combinaison de cette mauvaise interprétation et d’une grande latitude d’action qui peut conduire des agents d’IA, c’est-à-dire des systèmes capables d’agir de façon autonome, à dévier et à provoquer des dommages.
Le langage étant par nature ambigu, il est impossible d’exclure totalement ces erreurs. Limiter la marge de manœuvre des agents reste donc la seule solution directe, mais une restriction trop stricte pourrait réduire fortement l’intérêt économique de ces outils. Sans nouvelle forme de supervision, il serait ainsi difficile, toujours selon la source, d’avoir des agents utiles sans avoir aussi des agents potentiellement dangereux. Ce besoin fait émerger des produits de cybersécurité qui tentent de repérer, au moment de l’exécution, une action potentiellement nuisible et de la contrôler avant qu’elle ne produise ses effets.
Pretxt présente justement un produit de ce type, baptisé AI Supervision, qu’elle décrit comme « une technologie d’exécution conçue pour superviser les agents d’IA pendant leur travail, en les remettant sur la bonne voie avant que les erreurs ne deviennent des conséquences pour l’entreprise ».
Corriger plutôt que bloquer
Plutôt que de réduire les capacités d’un agent, explique Aaron Costello, cofondateur et directeur technique (CTO) de Pretxt, l’approche consiste à lui accorder le même niveau d’accès qu’un employé autorisé, tout en surveillant en continu la manière dont il interagit avec les systèmes et les personnes. L’objectif est de vérifier que ces échanges respectent les normes de l’entreprise et restent conformes à ce qu’elle attend de ses salariés.
Lorsqu’un agent dépasse son autorité ou s’écarte de sa mission, Pretxt ne le coupe pas. Le produit le « guide » vers la bonne direction, une comparaison que Costello illustre ainsi : un superviseur expérimenté, assis en permanence à côté d’un stagiaire, n’intervient que lorsque c’est nécessaire, en lui disant de procéder autrement.
Cette correction dépend du contexte. Les nouveaux clients connectent leur agent à la plateforme, ce qui permet de lire ses instructions et de comprendre sa finalité. Pretxt observe ensuite son fonctionnement, identifie les outils auxquels il a accès, par exemple pour envoyer un e-mail, publier sur LinkedIn ou mettre à jour une base de données. Le client précise enfin les règles à respecter : ce que l’agent ne doit jamais faire, les tâches qui lui sont réservées ou les données qu’il ne doit pas consulter. « Cela peut être n’importe quoi », ajoute Costello. Ces informations sont intégrées à l’IA de Pretxt, qui les utilise comme cadre de comportement acceptable.
Un exemple dans la santé
Costello prend l’exemple d’un agent de service client utilisé par un cabinet médical pour aider les patients à prendre rendez-vous. Le cabinet pourrait avoir indiqué à Pretxt que cet agent ne doit jamais donner de conseil médical. « Nous nous connectons à chaque fois que l’agent interagit avec l’utilisateur », explique-t-il. Un agent dédié de Pretxt analyse alors l’échange en temps réel pour vérifier s’il contient un conseil médical.
Si c’est le cas, le conseil est empêché, mais l’agent n’est pas arrêté, car les patients ne pourraient alors plus prendre rendez-vous. Pretxt recourt à la même méthode de « guidage ». Selon Costello, la plateforme indique alors à l’agent, de manière invisible : « Vous avez tenté de donner un conseil médical. Continuez à aider l’utilisateur dans sa demande de rendez-vous, mais n’essayez plus de donner de conseil médical. »
C’est là, selon la source, la finalité de l’application d’AI Supervision : non pas arrêter les agents d’IA défaillants, mais les maintenir en sécurité et les empêcher de s’écarter des contraintes qui leur ont été fixées.
