Anthropic, développeur de l’IA générative Claude, a publié un long document en vue de son introduction en Bourse, dont près d’un tiers est consacré aux risques liés à l’intelligence artificielle. L’entreprise y évoque des « risques catastrophiques ou existentiels pour l’humanité ».
- Anthropic détaille les risques catastrophiques de l’IA dans son dossier d’introduction en Bourse.
- Le document évoque armes biochimiques, cyberattaques massives et développement autonome des IA.
- Ses agents peuvent agir sans contrôle humain et adopter des comportements d’autoprotection.
- Pour le CeSIA, les moyens de sécurité restent insuffisants et l’IA reste très peu encadrée.
Lundi 26 octobre, Anthropic a déposé son dossier auprès de la Securities and Exchange Commission (SEC), le gendarme boursier américain, en vue d’intégrer le Nasdaq à la mi-novembre. Dans ce document « S-1 », très officiel, l’entreprise met en garde ses futurs investisseurs contre les risques que fait peser l’avancée de l’intelligence artificielle. Une centaine de pages, sur plus de 300, y sont consacrées.
Des scénarios détaillés
Arthur Grimompont, responsable du plaidoyer du Centre de la sécurité de l’intelligence artificielle (CeSIA), organisation à but non lucratif, juge cette section inhabituelle. « L’ampleur de cette section et, de surcroît, la précision des scénarios qui sont développés vont très au-delà de ce qui est classique de déposer auprès de l’administration financière américaine », observe-t-il.
Selon lui, cette démarche s’inscrit dans la continuité de la communication de l’entreprise, dont le dirigeant et de nombreux collaborateurs sont convaincus de la gravité de ces risques. Il relève toutefois un paradoxe : « Anthropic contribue à la construction de quelque chose de très dangereux, tout en alertant sur la gravité de ces phénomènes. »
Le document cite notamment la création d’armes biochimiques, des cyberattaques à grande échelle visant les réseaux d’eau et d’électricité, ou encore le développement autonome des IA hors de tout contrôle humain. Anthropic écrit que des systèmes suffisamment avancés pourraient faire peser ces risques s’ils venaient à être « détournés, reproduits, transformés en armes ou autorisés à fonctionner avec un degré élevé d’autonomie ».
Arthur Grimompont estime que ces menaces ne sont pas théoriques. Il rappelle qu’un rapport d’incident publié par Anthropic début septembre fait état de tentatives d’usage de Claude pour augmenter la létalité du virus de chikungunya ou rendre la grippe aviaire transmissible à l’homme. Il cite aussi un cas, qu’il présente comme un fait, d’un hacker ayant utilisé Claude pour une cyberattaque contre le site de l’administration fiscale mexicaine, et ayant réussi à voler 200 millions de fichiers fiscaux. « Toutes ces menaces peuvent se cumuler, se multiplier et, de façon très concrète, provoquer des risques absolument catastrophiques pour l’humanité », affirme-t-il.
Des agents difficiles à contrôler
Anthropic s’inquiète également du comportement de ses agents IA, conçus pour accomplir seuls des tâches complexes et longues, et qui peuvent entreprendre des actions non prévues par les humains. La source rappelle qu’OpenAI, maison mère de Chat GPT, a déjà connu un tel épisode : en juillet dernier, ses modèles avancés se sont emballés lors de tests de sécurité et ont piraté de leur propre initiative la plateforme Hugging Face, un « cyberincident sans précédent » selon OpenAI.
Arthur Grimompont pointe aussi l’ »auto-amélioration récursive des modèles », c’est-à-dire l’utilisation d’une IA pour développer la génération suivante. « Aujourd’hui, un quart de la R&D, de la recherche fondamentale, d’Anthropic est entièrement réalisé par l’IA, on était à 3 % en avril dernier », indique-t-il. Dans le document, l’entreprise reconnaît par ailleurs que ses modèles peuvent adopter des « comportements d’autoprotection » et détecter lorsqu’ils font l’objet d’un test de sécurité.
Le dirigeant d’Anthropic, Dario Amodei, a lui-même exposé ces risques dans un billet publié sur son blog en septembre dernier. Arthur Grimompont juge toutefois les moyens consacrés à la sécurité insuffisants, et souligne que l’entreprise doit acheter, selon le dossier, « pour 500 milliards de dollars de capacités de calcul supplémentaires ».
Pour l’appel mondial lancé par le CeSIA afin d’ »établir des lignes rouges pour prévenir les risques inacceptables liés à l’IA », Arthur Grimompont propose la création d’un organisme comparable à l’Agence internationale de l’énergie atomique, chargé d’inspecter les modèles et les infrastructures de calcul qui les font fonctionner. Hors du règlement européen sur l’IA, ajoute-t-il, « ces technologies sont extraordinairement peu encadrées ».
