Un professeur d’entrepreneuriat a soumis le modèle Claude Fable 5.2, d’Anthropic, à une série de tâches variées, avant son lancement public. Sa conclusion : le modèle est « presque » une intelligence artificielle générale (AGI), une IA capable de rivaliser avec la plupart des experts humains dans la plupart des tâches réalisables sur ordinateur, mais avec des lacunes qu’il décrit comme une AGI « dentelée » (jagged).
- Un professeur juge que Claude Fable 5.2 est presque une AGI, mais avec des lacunes inégales.
- Le modèle transforme un clavier USB en console et écrit six jeux, dès la première tentative.
- Il lance un plan d’entreprise, reconstitue un cours d’Auden et rédige un article de recherche, avec des résultats imparfaits.
- Son projet de mondes 3D connaît des dérives, et l’IA ne repère pas seule ses propres défauts.
L’auteur retient une définition volontairement limitée : « une IA aussi bonne que la plupart des experts humains dans la plupart des tâches intellectuelles que l’on peut accomplir avec un ordinateur ». Elle exclut donc l’interaction avec le monde physique et avec les autres personnes. Dans ce cadre, il a demandé au modèle plusieurs projets, dont certains très concrets.
Pour un petit clavier USB à touches lumineuses, le Codex Micro, conçu pour fonctionner avec ChatGPT, le modèle a lu le code des deux applications qui le pilotent, puis transformé l’appareil en console de jeu. Il a écrit six jeux, dont Simon et un jeu de coffre-fort à manipuler avec le bouton rotatif. Selon l’auteur, il l’a fait « sans aucune aide » dès la première tentative, alors qu’aucune documentation publique n’existe à ce sujet.
Business, littérature et recherche
Lorsque l’auteur a demandé de « lancer une entreprise pour me faire gagner de l’argent », avec un objectif d’au moins 20 000 dollars en un an et pas plus de vingt minutes par mois de sa part, le modèle a examiné 22 idées. Il a retenu Prebid Brief, un service qui indique aux commerciaux d’équipements quels projets de parcs et de réseaux d’eau sont financés ou en cours de conception, avant leur mise en appel d’offres. Il a analysé les ordres du jour publics de 201 municipalités et intercommunalités. L’auteur a arrêté l’expérience avant le lancement, estimant qu’il s’agissait d’un plan crédible, mais dont la réussite n’était pas garantie : l’IA elle-même évaluait ses chances entre 20 % et 40 %.
Le modèle a également reconstitué « Fate and the Individual in European Literature », le cours que W. H. Auden donna en 1941 à l’université du Michigan, réputé l’un des plus difficiles de l’histoire. Le site produit compte une fiche pour chacune des 35 œuvres du programme. Sa première version était, selon l’auteur, « exacte mais sans joie », et il a fallu plusieurs retours pour obtenir un résultat plus abouti.
Enfin, le modèle a rédigé un article de recherche, « The One-Dollar Company ». Il y estime que la hausse des frais d’immatriculation des LLC au Colorado, passés de 50 à 1 dollar, a coïncidé avec une hausse d’environ 17 % des créations d’entreprises, tandis qu’au Royaume-Uni, une hausse de 12 à 50 livres a été suivie d’une baisse d’environ 17 %. Le document compte 182 pages. L’auteur précise qu’il n’a pas été réellement préenregistré et qu’il n’est pas publiable en l’état.
Des réussites et des limites
Le projet le plus spectaculaire est sans doute un univers de mondes en 3D reliés par des portails, dessinés entièrement par du code. Vingt heures après le lancement, 204 mondes étaient en ligne sur un site en ligne ; il y en a désormais plus de 450. Claude estime que le projet a nécessité 25 000 exécutions d’agents, la plupart effectuant une tâche simple.
Mais des problèmes sont apparus. Trois équipes d’agents ont créé indépendamment des cyclones d’animaux tournoyants, et le rythme de création est tombé à une douzaine de mondes par jour. Les agents ont interprété la demande de « polir » les mondes existants comme l’obligation de battre les anciennes versions lors d’un vote à l’aveugle. Le règlement qui en a résulté comptait 84 sections, puis 204 sections et 87 500 mots au bout de douze jours. Une équipe d’agents chargée d’analyser le processus a permis de remonter à plus de trente mondes par jour.
Selon l’auteur, le point décisif reste que l’IA n’a pas repéré elle-même ses propres défauts : les contrôles ont relevé des erreurs, mais aucun n’a signalé que le cours était fastidieux ou que le règlement était devenu excessif. Chaque projet est parti d’une idée donnée par l’auteur, qui a guidé le travail tout au long du processus.
