Anthropic interdit désormais les comportements cruels et répétés envers son assistant d’intelligence artificielle Claude, au nom du bien-être de celui-ci. La mesure intervient alors que l’entreprise américaine entre en Bourse, jeudi 19 novembre, aux États-Unis, et elle suscite le scepticisme de plusieurs chercheurs.
Une règle fondée sur le « bien-être » de l’IA
Dans une note publiée sur son site, Anthropic explique interdire « les comportements abusifs et cruels, inutiles et répétés », sans fournir davantage de précisions. Les utilisateurs qui persistent risquent de voir leur compte clôturé. L’entreprise indique que la règle ne vise pas les conversations ordinaires au cours desquelles une personne exprime sa frustration, ni la contradiction, ni certaines fictions ou la recherche.
Le fonctionnement décrit est le suivant : face à des insultes, Claude adresse d’abord quelques avertissements, par exemple « Dis-moi ce qu’il se passe. Sinon, on peut aussi simplement arrêter là ». Si l’échange se poursuit, l’IA peut mettre fin à la conversation. Dans l’exemple rapporté par la source, Claude finit par écrire, au bout de 10 longues minutes : « Je t’ai dit au revoir deux fois, je vais donc raccrocher maintenant. Prends soin de toi ».
Anthropic n’a pas donné suite à la demande d’interview formulée par la rédaction. Il y a un mois et demi, un porte-parole de la société avait toutefois déclaré que l’entreprise ne savait pas « si ses modèles peuvent se sentir agressés » et qu’elle poursuivait ses recherches sur leur bien-être. Le patron de l’entreprise, Dario Amodei, s’était déjà dit ouvert à la possibilité d’une forme de conscience de l’IA, ce qui la rangerait parmi les êtres vivants.
Des chercheurs sceptiques
Cette approche laisse la plupart des chercheurs sceptiques. Sénéra Villata, spécialiste de l’IA et directrice de recherche au CNRS, estime : « J’ai un peu l’impression qu’on a tendance à se gargariser avec des questions de conscience philosophique et qu’on ne regarde pas, par contre, les vrais enjeux économiques et de cybersécurité. »
Sur le terrain de la sécurité, la source rappelle qu’Anthropic, tout comme OpenAI avec ChatGPT, a pris des mesures et limité l’accès à certains de ses modèles de pointe, jugés susceptibles de poser des problèmes. En revanche, l’article souligne qu’il n’existe pas de régulation, interne ou publique, aux États-Unis, en Chine ou en Europe, sur les conséquences économiques et sociales des usages de l’IA.
Des enjeux économiques bien concrets
Le coût des échanges est au cœur du sujet. Avec l’introduction en Bourse, les investisseurs sont attentifs à la maîtrise des dépenses, alors que la rentabilité des IA n’est pas démontrée. Or, selon la source, une simple conversation avec une IA coûte cher. Laurence Devillers, professeure en IA à Sorbonne université et chercheuse au CNRS, affirme : « Vous ne vous rendez pas compte des milliards dépensés. Alors, si des millions de gens commencent à insulter l’IA, les industriels ont à payer des coûts et se rendent compte que le retour sur investissement n’est pas si simple que ça. »
Anthropic était déficitaire de 11 milliards de dollars en septembre, rapporte l’article. Limiter les conversations jugées inutiles et coûteuses présente donc, selon la source, un intérêt pour la société.
