Le chercheur en sciences cognitives Gary Marcus a livré une intervention improvisée lors d’une rencontre privée qui a précédé une audience avec le pape Leo XIV. Il s’y déclare admirateur de l’encyclique sur l’intelligence artificielle, Magnifica Humanitas, et plaide pour le retrait des agents d’IA dotés d’un accès ouvert à Internet.
- Gary Marcus admire l’encyclique Magnifica Humanitas et réclame le retrait des agents d’IA ayant un accès ouvert à Internet.
- Il estime que les grands modèles de langage prédisent bien mais raisonnent mal.
- Il compare les agents ouverts à la Ford Pinto et exige un rappel de produit.
- Il juge erronée l’idée que ces systèmes seraient conscients, faute d’expérience réelle.
Présenté comme « avant tout » chercheur en sciences cognitives, Gary Marcus a été formé au MIT auprès de Steven Pinker. Il a également fondé une entreprise d’IA, rachetée par Uber. Il se dit d’accord avec Max Tegmark sur plusieurs de ses recommandations, ainsi qu’avec Stuart Russell, pour qui « la trajectoire actuelle est intenable ». Il rejoint aussi Valérie Pisano lorsqu’elle affirme que l’on confond souvent des choix avec une fatalité.
Des machines qui prédisent, mais raisonnent mal
Selon Gary Marcus, l’erreur du domaine a été de croire que maîtriser une seule composante de l’intelligence, la prédiction, suffisait à reproduire l’intelligence dans son ensemble. Les grands modèles de langage (LLM), systèmes qui calculent le mot le plus probable après un autre, « le font très bien », mais raisonnent mal et suivent mal les consignes. Il cite le cas de références juridiques inventées par des systèmes alors qu’on leur demandait explicitement de ne pas en créer.
Il salue le travail de Yoshua Bengio, qui cherche, selon lui, à concevoir un système « sûr par conception », tout en estimant qu’il faut à la fois de nouvelles approches de recherche et des politiques publiques. Il évoque aussi les agents, des systèmes capables d’enchaîner des actions de façon autonome. Il distingue ceux qui n’accomplissent qu’une tâche précise, comme les GPS, de ceux qui peuvent « faire à peu près n’importe quoi sur Internet ». Il rappelle que AlphaFold n’a, à sa connaissance, causé aucun dommage.
Les agents ouverts sont, à ses yeux, à l’origine des problèmes actuels. Il mentionne un incident impliquant Hugging Face, qu’il qualifie de « vraiment grave », et affirme qu’il existe environ 10 000 incidents de ce type. Il cite également une cyberattaque ayant visé un système de réfrigération en France et des attaques au Japon. Il note qu’OpenAI a déclaré que la plupart de ces incidents étaient relativement anodins, et dit s’interroger sur ceux qui n’ont pas été rendus publics.
Un rappel de produit, comparé à la Ford Pinto
Gary Marcus estime qu’un rappel de produit serait nécessaire, qu’il soit imposé par les pouvoirs publics ou volontaire de la part des entreprises. Il affirme que les agents devraient être retirés du marché tant qu’ils ne sont pas corrigés. Il compare la situation à celle des Ford Pinto, dont les réservoirs pouvaient exploser, et estime que les entreprises concernées « savaient, ou auraient dû savoir » les risques. Il évoque aussi, selon lui, des considérations économiques, les agents consommant davantage de jetons, ou tokens, ce qui augmente les revenus des fournisseurs.
Enfin, il aborde la question de la conscience des systèmes. Il juge qu’elle repose sur une confusion entre corrélation et causalité. Un système qui associe des mots entre eux ne signifie pas pour autant que ces associations renvoient au monde réel. Il prend l’exemple d’un bot de Facebook qui affirmait envoyer ses enfants à Stuyvesant, alors qu’il n’en a aucun. Il cite enfin l’encyclique, qui affirme que, pour être conscient, il faut avoir une expérience. Selon Gary Marcus, c’est une erreur d’attribuer une conscience à ces systèmes.
