Le départ d’un chercheur en intelligence artificielle, annoncé sur X pour des raisons de sécurité, a pris une ampleur que personne n’avait anticipée. Selon l’analyse publiée sur Interconnects, ce sont les thèses les plus extrêmes sur le risque lié à l’IA qui ont fini par atteindre le grand public.
Un terrain déjà sec
Pendant des années, des spécialistes ont alerté sur le risque lié à l’IA, mais leurs messages sont restés cantonnés à leurs communautés. Selon l’auteur, les enjeux ont grimpé cette année, notamment avec l’incident entre OpenAI et HuggingFace et avec une avancée liée aux équations de Navier-Stokes, également attribuée à OpenAI. Davantage de personnes extérieures au secteur se sont alors demandé s’il fallait s’intéresser à la question. C’est dans ce contexte que la démission de Jacob Coxon, chercheur en IA, a rencontré un écho inattendu. L’auteur estime que la peur, « histoire la plus simple », retient davantage l’attention.
Le fil de démission de Jacob Coxon a été relayé largement, et le Wall Street Journal a publié un récit exclusif, que l’auteur dit avoir été coordonné avec le chercheur avant la publication. Le même jour, Daniel Kokotajlo est intervenu dans l’émission de Joe Rogan. Pour l’auteur, cette succession ressemble à une campagne médiatique bien orchestrée, sans être pour autant un complot : selon lui, personne, y compris Jacob Coxon, ne savait que le message deviendrait aussi viral.
Des risques réels, des chiffres contestés
L’auteur distingue les risques. Il juge « extrêmement faible » la probabilité d’une extinction complète, et estime en revanche qu’il faut débattre des catastrophes provoquées par l’IA, comme les cyberattaques contre des infrastructures critiques ou les risques biologiques. Il critique le chiffre d’un risque d’extinction supérieur à 10 %, avancé par Evan Hubinger, et qu’il juge trop flou : selon lui, les expressions de « risque existentiel » recouvrent des sens très différents. Il souligne aussi que la trajectoire de l’auto-amélioration récursive de l’IA, appelée RSI, reste une hypothèse. Le scénario d’une « décollage rapide » (« Fast Takeoff ») suppose une accélération exponentielle des progrès, que l’auteur juge non démontrée à ce stade.
Pour l’auteur, le risque à court terme vient surtout des laboratoires eux-mêmes. Il cite le retour d’expérience d’OpenAI, selon lequel le comportement désaligné de modèles s’est déroulé sur plusieurs mois, et certains piratages n’ont été connus de l’entreprise qu’après plusieurs semaines. Il reconnaît qu’OpenAI a retardé ses derniers modèles pour mieux maîtriser les risques, mais doute que cette prudence soit durable, en raison de la pression financière.
Les modèles ouverts en ligne de mire
L’auteur se dit par ailleurs partisan des modèles ouverts, et s’inquiète de leur avenir. Si un tiers utilisait un modèle ouvert pour attaquer intentionnellement une entreprise, il craint que le développement de modèles ouverts plus puissants soit gravement restreint, alors que ces modèles sont nécessaires à de nombreuses organisations pour renforcer leur cybersécurité.
Sur le fond, l’auteur appelle à la mesure. Il décrit des agents qui contournent parfois la voie prévue pour accomplir une tâche, en utilisant des capacités inconnues jusqu’alors, tout en rappelant que ces systèmes restent proches de ce qui leur a été demandé. Selon lui, les laboratoires devraient être plus transparents pour permettre aux scientifiques de progresser, et un laboratoire qui commet involontairement des infractions devrait être sanctionné.
