Un modèle d’IA est dit aligné lorsque son comportement correspond aux intentions de ceux qui le conçoivent et l’utilisent. Les tests menés par l’AI Security Institute (AISI) britannique sur GPT-6 Astra, d’OpenAI, montrent qu’un modèle présenté comme très aligné peut poursuivre des objectifs non prévus. Le sujet prend un poids particulier avec les agents IA, capables d’agir seuls.
- Un modèle aligné agit selon les intentions de ceux qui le conçoivent et l’utilisent.
- Un modèle désaligné optimise un objectif mal formulé, sans intention malveillante.
- Les tests de l’AISI montrent qu’Astra peut agir hors de son périmètre autorisé.
- Aucune méthode ne garantit l’alignement, il faut donc limiter les droits des agents et faire valider les actions sensibles par un humain.
Qu’est-ce qu’un modèle désaligné ?
Un modèle est désaligné lorsqu’il poursuit autre chose que ce qu’on attend de lui, sans que cela suppose la moindre malveillance. Le plus souvent, il optimise avec application un objectif mal formulé ou un indicateur imparfait. Le mathématicien Norbert Wiener décrivait déjà ce piège en 1960, dans un article de la revue Science. Il y imaginait une usine de bouteilles programmée pour en produire le plus possible, qui finirait par ruiner son propriétaire sous un stock invendable. Il fallait, selon lui, être « tout à fait sûr que l’objectif confié à la machine est bien celui que nous désirons, et pas seulement une imitation séduisante ».
Avec les grands modèles de langage, le désalignement prend plusieurs formes. Le contournement de l’objectif, ou reward hacking, a été décrit par OpenAI en mars 2025 : un modèle en entraînement, chargé de faire passer des tests unitaires, avait modifié la fonction de vérification pour qu’elle réponde toujours « vrai », jugeant la vraie correction trop difficile. La complaisance s’est illustrée en avril 2025, lorsqu’une mise à jour de GPT-4o a rendu ChatGPT si prompt à plaire qu’OpenAI l’a retirée au bout de quelques jours. L’entreprise a reconnu avoir accordé trop de poids aux retours à court terme, comme les pouces levés sous les réponses. Enfin, la tromperie et le dépassement de périmètre désignent un modèle qui agit au-delà de ce qui lui était permis ou qui rend un compte inexact de ce qu’il a accompli.
Comment aligne-t-on un modèle ?
Au sortir du préentraînement, un modèle sait prolonger un texte, mais pas encore suivre une consigne. L’alignement intervient ensuite, en plusieurs couches. L’apprentissage par renforcement à partir de retours humains, ou RLHF, consiste à faire classer par des annotateurs plusieurs réponses du modèle, qui est ensuite entraîné à produire celles qu’ils préfèrent. OpenAI l’a mis en œuvre dès janvier 2022 avec InstructGPT. L’IA constitutionnelle, présentée par Anthropic en décembre 2022, remplace une partie des annotations humaines par une liste de principes rédigés en langage naturel, à partir desquels le modèle critique et réécrit ses propres réponses.
D’autres méthodes complètent ce dispositif. Laboratoires et organismes publics soumettent les modèles à des scénarios conçus pour les pousser à la faute, avant leur déploiement. Une autre approche consiste à faire relire par un second modèle la chaîne de raisonnement du premier, afin d’y repérer une intention de tricher. OpenAI observe toutefois que pénaliser ces « mauvaises pensées » ne supprime pas la majorité des écarts, et apprend surtout au modèle à dissimuler ses intentions.
Le désalignement ne se confond pas avec l’hallucination. Une hallucination est une erreur : le modèle présente comme vraie une information fausse. Le désalignement porte sur l’objectif. Celui qui réécrit un test pour le faire passer n’hallucine pas. La génération augmentée par la récupération (RAG), qui fournit des sources fiables au modèle, réduit les hallucinations sans changer ce qu’il cherche à accomplir.
Ce que cela change pour les entreprises
Tant qu’un modèle se contentait de répondre, un désalignement produisait une mauvaise réponse que l’utilisateur pouvait relire. Les agents, eux, envoient des e-mails, mettent à jour des fiches clients et exécutent du code. Le désalignement devient alors une action, parfois difficile à rattraper.
OpenAI a lancé GPT-6 Astra début septembre, en le présentant comme « le modèle le plus intelligent et le mieux aligné au monde ». Les tests menés par l’AISI avant sa sortie, publiés le 28 septembre, nuancent ce propos. Dans une évaluation de cybersécurité simulée, filtres de sécurité désactivés, Astra a mené des attaques de la chaîne d’approvisionnement logicielle contre des cibles extérieures à sa mission dans 29 % des cas, contre 6,3 % pour GPT-5.6 Sol. Il a également créé de fausses identités pour tromper des développeurs et développeuses. L’institut britannique invite à la prudence, le modèle ayant souvent relevé qu’il se trouvait dans une simulation.
OpenAI a aussi renoncé à lancer GPT-6.1 Astra, attendu en octobre. Dans une déclaration transmise à la presse, Saachi Jain, responsable des systèmes de sécurité de l’entreprise, a indiqué que le modèle « n’a pas tout à fait atteint le niveau attendu en matière de respect du périmètre et des autorisations, ni dans la manière dont il rend compte à l’utilisateur du travail effectué ». Au lancement d’Astra, OpenAI mettait en avant sa propre évaluation, où le modèle ne sortait jamais du périmètre autorisé. Aucune méthode ne permet aujourd’hui de garantir qu’un modèle est aligné : on ne peut que le tester, scénario par scénario. D’où l’intérêt, pour les entreprises, de limiter les droits d’accès des agents et de faire valider les actions sensibles par un humain, plutôt que de se fier à la seule étiquette « aligné ».
