Dans un texte de blog, un chercheur en IA explique pourquoi l’ingénierie des modèles devrait s’accélérer dans les prochaines années, sans pour autant transformer leur nature. Selon lui, les modèles deviendront d’ici quelques années des ingénieurs GPU surhumains, capables de rendre l’expérimentation nettement plus facile. Il estime aussi que plusieurs chantiers, comme l’efficacité des calculs et la qualité des environnements d’apprentissage par renforcement, offrent des progrès à portée de main.
- L’auteur attend des progrès rapides en ingénierie de l’IA.
- Les modèles deviendront des ingénieurs GPU surhumains d’ici quelques années.
- Cette accélération ne changera pas la nature profonde des modèles.
- Le coût de l’intelligence va baisser fortement, mais la qualité des environnements d’apprentissage reste faible.
Une recherche de plus en plus facile
L’auteur note que des chercheurs de l’industrie lui disent souvent que l’IA fera mieux qu’eux dans leur métier d’ici quelques années. Il attribue cette accélération aux capacités croissantes des modèles en matière d’infrastructure et d’ingénierie, un point sur lequel il est d’accord. Il ajoute toutefois que ces progrès ne rendront pas les modèles radicalement différents dans leur nature.
Selon lui, Ilya avait, à certains égards, annoncé trop tôt l’ère de la recherche en IA. La recherche est aujourd’hui bien plus simple grâce aux agents de programmation, des outils capables d’écrire et de modifier du code de façon autonome. Le texte y voit le début d’une période où les bonnes idées pourraient valoir davantage que la bonne exécution logicielle.
L’auteur rappelle que l’équilibre entre recherche et ingénierie a déjà basculé par le passé. Avant l’essor du deep learning, l’IA relevait surtout de la recherche. Aujourd’hui, les meilleurs chercheurs sont jugés sur leur capacité à mettre en œuvre et à faire passer à l’échelle leurs idées dans des infrastructures complexes. Il évoque une accélération « de quelques années » où le goulot d’étranglement sera de moins en moins l’ingénierie.
Efficacité et coût de l’intelligence
Une grande partie des étapes d’entraînement et d’inférence, c’est-à-dire l’utilisation d’un modèle pour répondre, peut être mesurée précisément. Le texte cite le nombre de tokens traités par seconde et par GPU, le nombre de tokens par requête, les FLOPs par token ou encore le coût par réponse. L’auteur estime que ces indicateurs sont très optimisables et que des agents d’IA pourraient aider à améliorer l’ensemble du processus d’ici quelques années.
Les gains d’efficacité ont déjà été importants, selon le texte, avec par exemple des économies « de l’ordre de 10 à 30 % » sur le coût de service d’un modèle après son annonce à un certain prix. L’auteur s’attend à ce que le coût effectif de l’intelligence des modèles baisse de manière quasi exponentielle, potentiellement plus vite que les tendances récentes. Il prévoit aussi que la conception conjointe des accélérateurs et des modèles apportera des gains supplémentaires, sur des échelles de temps plus longues.
Le texte avance par ailleurs qu’un paradoxe de Jevons, selon lequel un gain d’efficacité peut faire augmenter la demande, devrait jouer pleinement pour les modèles agentiques. L’auteur cite l’agent Muse de Meta comme un signe précoce de ce mouvement, et prévoit davantage d’expériences de ce type pour différents publics.
Données et environnements d’apprentissage
Le texte évoque enfin le marché des données destinées à l’apprentissage par renforcement, ces environnements où un modèle apprend par essais et récompenses. Plusieurs entreprises de ce secteur auraient franchi le seuil de « 100 millions de dollars » ou de « 1 milliard de dollars » de chiffre d’affaires, un nombre plus élevé, selon l’auteur, qu’il ne l’imaginait. Il constate pourtant que la qualité moyenne de ces productions est « remarquablement faible », et que de nombreux chercheurs jugent une partie de ce qu’ils achètent de mauvaise qualité.
Les grands laboratoires tirent néanmoins un retour sur investissement clair de ces achats, relève le texte. Pour l’auteur, la faiblesse de nombreux environnements est clairement corrigeable.
