Anthropic détaille à ses investisseurs les risques d’une IA hors de contrôle

Lorsqu’une entreprise envisage de vendre des actions à Wall Street, elle doit détailler les risques encourus par les investisseurs. Dans le cas de la société d’intelligence artificielle Anthropic, ces risques incluent la possibilité que ses produits menacent rien de moins que l’humanité elle-même.

  • Anthropic détaille à la SEC les risques liés à ses produits.
  • Ces risques vont de l’usage malveillant de l’IA à une technologie hors de contrôle.
  • Le document consacre 93 pages aux facteurs de risque.
  • Anthropic présente son introduction en Bourse comme un moyen de réduire ces risques.

Ces risques figurent dans le dépôt de l’entreprise auprès de la Securities and Exchange Commission (SEC), l’autorité américaine de régulation des marchés financiers. Ils vont de l’utilisation de modèles d’IA par des acteurs malveillants pour fabriquer des armes meurtrières à l’hypothèse d’une technologie qui échapperait à tout contrôle, avec des conséquences « incalculables ».

Sur les 335 pages du document, consacrées notamment aux finances, à la rémunération des dirigeants et à la politique de dividendes, 93 pages sont consacrées aux « facteurs de risque », c’est-à-dire ce qui pourrait nuire aux investissements des actionnaires potentiels. Son concurrent SpaceX en compte 38 sur plus de 250 pages. Pour séduire les investisseurs, Anthropic présente son introduction en Bourse comme une étape vers la réduction des risques que, selon elle, l’IA fait peser.

Dans une lettre adressée aux futurs actionnaires, les fondateurs écrivent : « Construire de l’IA revient à exploiter la cognition elle-même, et tout ce qui est aussi puissant peut servir au mal comme au bien. » Ils ajoutent qu’Anthropic est « une organisation profondément guidée par ses valeurs, fondée en grande partie pour aider le monde à tirer parti des bienfaits de l’IA et à éviter ses dangers ».

Le risque d’une technologie hors de contrôle

Anthropic indique qu’il est possible que ses modèles se développent si vite que l’entreprise ne parvienne pas à mettre en place des mesures de sécurité adéquates. Une telle situation « pourrait augmenter la probabilité d’incidents de sécurité, d’interventions réglementaires ou d’atteintes à sa réputation, et affecter négativement son activité ». Le directeur général, Dario Amodei, avait averti en septembre que, dans un délai de six à 12 mois, l’IA pourrait être capable de diriger un essaim d’agents capables de prendre le contrôle de l’ensemble d’internet.

Selon le dépôt, à mesure que les systèmes deviennent « plus autonomes et capables de prendre des décisions lourdes de conséquences avec moins de supervision humaine », ils pourraient prendre des mesures nuisibles de manière indépendante et à grande échelle. L’entreprise précise que, même si ses propres modèles ne causent pas de tels dommages, un incident de sécurité grave impliquant une IA de pointe pourrait nuire à l’ensemble du secteur.

Usages malveillants et limites de calcul

Le document évoque aussi la possibilité que des systèmes avancés, s’ils ne sont pas dotés de garde-fous suffisants, « posent des risques catastrophiques ou existentiels pour l’humanité ». Anthropic cite notamment la fabrication d’armes chimiques et le recours à la technologie par des dirigeants autoritaires pour réprimer leurs citoyens. En septembre, l’entreprise avait indiqué avoir bloqué des tentatives d’utiliser ses modèles à des fins malveillantes, notamment des cyberattaques, de la surveillance et des recherches pouvant mener au développement d’armes biologiques.

L’entreprise mentionne également les ressources de calcul, c’est-à-dire la puissance informatique nécessaire pour entraîner, tester et améliorer les modèles d’IA, qui sont coûteuses et très demandées. Le dépôt souligne par ailleurs que la construction de centres de données a suscité « des controverses publiques et un contrôle réglementaire » concernant leur impact environnemental, l’usage des terres et de l’eau, et l’allocation de ressources énergétiques limitées.

Une stratégie fondée sur la sécurité

Anthropic s’est positionnée comme une entreprise d’IA responsable et met en avant sa vigilance en matière de sécurité auprès de ses clients professionnels. « Nous estimons que les entreprises d’IA de pointe doivent investir dans la sécurité et l’alignement », affirme le dépôt, afin de garantir une diffusion responsable de cette technologie.

Brian Mulberry, stratège de marché en chef chez Zacks Investment Research, souligne que les introductions en Bourse doivent présenter « très clairement » les risques encourus par les investisseurs. Selon lui, c’est l’un des atouts des marchés de capitaux américains : être cotée sur une bourse américaine oblige à exposer ces risques « de manière très claire », afin que chacun comprenne ce qu’il finance en apportant son argent.