Dans un texte publié par MIT Technology Review, les auteurs soutiennent que la confiance envers l’intelligence artificielle ne peut pas reposer sur la prédiction de son comportement. Selon eux, elle passe plutôt par des limites strictes, appliquées en dehors de la portée du système. Un garde-fou que l’IA peut elle-même déplacer n’en est pas un.
Le texte prend l’exemple d’OpenAI : les garde-fous se trouvaient à l’intérieur d’un système que les agents pouvaient modifier. Les logiciels traditionnels exécutent des instructions écrites par des humains. L’IA, elle, exerce ce que les auteurs appellent un « jugement synthétique » : elle interprète des situations que personne n’a programmées et produit des réponses que personne n’a prescrites. Plus on lui laisse de liberté, plus il devient difficile de garantir la prévisibilité sur laquelle la confiance s’est historiquement bâtie.
Les limites des définitions classiques de la confiance
Le texte rappelle deux approches récentes traitées par le média. La première juge insuffisant de placer un humain dans la boucle, car les humains sont fondamentalement incapables de comprendre les intentions des systèmes d’IA, et elle plaide pour une recherche interdisciplinaire associant université, pouvoirs publics et industrie technologique. La seconde décrit l’usage d’incitations pour empêcher les modèles de s’écarter des règles, même lorsque personne ne sait comment ils fonctionnent à l’intérieur. Les deux reconnaissent qu’il est impossible de comprendre ou de surveiller chaque décision de l’IA.
Or nos outils de confiance, qu’il s’agisse des exigences, des tests, de la certification, des marges de sécurité, des verrouillages ou des critères de réussite et d’échec, reposent tous sur la capacité à borner le comportement d’un système. Les auteurs parlent ici de « paradoxe du déterminisme ». Avec l’IA générative et les agents, ce comportement dépend des données d’entraînement, de l’architecture, des consignes, du contexte, des sources consultées et de l’environnement. Les entrées changent, les modèles sont mis à jour, les outils évoluent et les agents interagissent entre eux. De petites variations se propagent jusqu’à des résultats que personne n’a conçus.
Le problème n’est pas le hasard, affirme le texte, mais l’espace des comportements possibles, trop vaste pour être énuméré à l’avance. La confiance doit donc être construite autour de frontières plutôt que de sorties prédites. Le but n’est pas une IA déterministe, mais une IA « bornée, observable et contrôlable ». Elle ne peut pas non plus être un test ponctuel : l’IA continue d’évoluer après son déploiement, et un système ayant passé tous les tests peut sortir des conditions qui leur donnaient leur sens. Selon le texte, la confiance doit être « continuellement gagnée ».
L’ingénierie de la sécurité tient compte depuis des décennies d’une partie de cette variabilité. La Nuclear Regulatory Commission s’appuie sur l’évaluation probabiliste des risques pour estimer la probabilité de défaillances dans les systèmes complexes. Le modèle STAMP a montré que des accidents peuvent naître des interactions entre des composants, des personnes et des organisations qui fonctionnent pourtant correctement. L’IA change la donne, car un seul composant peut désormais interpréter, déduire et agir. Les enjeux grandissent à mesure que l’IA passe des navigateurs aux véhicules, robots, systèmes médicaux, contrôles industriels et centres de données, où une mauvaise réponse peut devenir un événement menaçant la vie.
Bâtir une confiance qui passe à l’échelle
Une personne validant des milliers d’actions d’IA par heure ne constitue pas, selon le texte, un garde-fou acceptable ni extensible. La solution n’est pas pour autant de retirer l’humain de la boucle, mais de placer son jugement là où il compte : fixer des limites à l’avance, puis approuver les rares actions aux conséquences graves, tandis que des contraintes strictes gèrent le reste.
La confiance doit donc remonter jusqu’à l’architecture du système. Les auteurs posent trois questions : quelle autorité accorder à l’IA, sous quelles conditions, et appuyée sur quelles preuves ? Ils ajoutent une quatrième interrogation, celle de ce qui se passe en dehors de ces conditions. Cette approche, concluent-ils en substance, diffère beaucoup de la question de savoir si un modèle a obtenu 94 % à un benchmark, c’est-à-dire un test de référence.
