OpenAI : le membre du conseil qui a renvoyé Sam Altman estime qu’ « on ne peut toujours pas faire confiance aux patrons de l’IA »

OpenAI : le membre du conseil qui a renvoyé Sam Altman estime qu' "on ne peut toujours pas faire confiance aux patrons de l’IA"
3 min de lecture

Helen Toner, directrice exécutive du Center for Security and Emerging Technology (CSET) de l’université Georgetown et ancienne membre du conseil d’administration d’OpenAI, juge que les décideurs politiques ont besoin d’informations fiables sur l’intelligence artificielle. Dans un entretien avec l’animateur Nilay Patel pour le podcast Decoder de The Verge, elle revient sur la gouvernance des laboratoires, la notion d’AGI et la rivalité avec la Chine.

Le CSET, qui existe depuis 2019 et compte environ 50 personnes, se présente comme un centre d’analyse qui n’est pas universitaire. Il produit de longs rapports, ainsi que des briefings courts destinés à des responsables politiques pressés. Selon Helen Toner, l’écart entre Washington et la Silicon Valley est réel, mais il ne se résume pas à une question d’expertise : les collaborateurs du Congrès sont, à son sens, « généralement plus intelligents qu’on ne leur en donne le crédit ».

Le précédent OpenAI

Helen Toner a fait partie des quatre membres du conseil d’administration d’OpenAI ayant voté le renvoi de Sam Altman. Cet épisode, parfois surnommé « the blip », s’est achevé par le retour de Sam Altman comme PDG, le départ d’Helen Toner et la mise en place d’un nouveau conseil. OpenAI a depuis été entièrement restructurée.

Le conseil à but non lucratif avait pour mission de veiller à ce que l’entreprise ne sacrifie pas son objectif de construire une IA sûre au profit du profit et de la croissance. Selon l’animateur, lorsque le conseil a tenté d’actionner ce levier, ce mécanisme de responsabilité a cédé. Helen Toner a ainsi vu, à ses yeux, ce qui arrive lorsque les engagements en matière de sécurité entrent en conflit avec les incitations commerciales. Elle estime que l’avenir ne devrait pas reposer sur la fiabilité d’une seule personne : si c’était le cas, « nous serions dans de beaux draps ».

AGI, auto-amélioration et singularité

Interrogée sur l’AGI, ou intelligence artificielle générale, Helen Toner affirme ne pas dire que cette étape est atteinte. Elle parle plutôt d’un « nuage flou » de définitions, dont certaines ont déjà été franchies. D’autres, comme celle d’une IA consciente capable de tout ce qu’un humain peut faire, restent éloignées. Elle a consacré un billet à ce sujet sur son Substack.

Elle décrit aussi une idée très répandue dans la Silicon Valley : l’auto-amélioration récursive, ou RSI (recursive self-improvement), c’est-à-dire la possibilité que des IA participent à la création de systèmes plus performants, jusqu’à la superintelligence. Selon elle, les entreprises utilisent désormais l’IA dans une part croissante de leur recherche et développement, sans lui confier l’ensemble du processus. Elle cite Demis Hassabis, chez Google, qui a déclaré que « nous sommes dans les contreforts de la singularité ».

Sur la notion d’alignement, qui vise à rendre les modèles conformes aux intentions de leurs concepteurs, Helen Toner juge le terme trop vaste. La version la plus cohérente, selon elle, consiste à faire en sorte que l’IA fasse ce que l’utilisateur veut. Elle estime que cette direction n’est « pas en bonne voie » d’être résolue. Elle souligne toutefois que ces questions relèvent d’une recherche scientifique qui demande du temps.

Pour la régulation, elle se dit plus favorable à des règles ciblant les systèmes les plus avancés qu’à un texte couvrant toute l’IA. Elle cite la Californie, New York et l’Illinois, qui ont adopté des textes presque identiques, et note que cette dynamique pourrait se poursuivre au niveau des États.

S’abonner
Notification pour
guest

0 Commentaires
Le plus ancien
Le plus récent Le plus populaire
0
Nous aimerions avoir votre avis, veuillez laisser un commentaire.x