Dans une lettre d’information consacrée aux modèles ouverts, un chercheur ayant participé à la création des modèles Olmo chez Ai2 compare l’écosystème actuel aux grands logiciels libres, comme le système d’exploitation Linux. Selon lui, cette comparaison ne rend pas pleinement compte de la dynamique de ces modèles, dont l’avenir économique reste incertain.
- Les modèles ouverts ne ressemblent pas tout à fait à Linux, car seule la recette complète s’en rapproche.
- Les poids restent utilisés longtemps, même si les modèles vieillissent vite.
- Nvidia publie données et code pour que chacun puisse construire ses propres modèles.
- Selon l’auteur, les modèles ouverts occuperont surtout une longue traîne face aux modèles fermés.
L’analogie la plus souvent avancée se heurte à une distinction. Un modèle de langage ouvert au sens strict, c’est-à-dire livré avec sa recette complète d’entraînement, ses données et son code, se rapprocherait d’un système d’exploitation libre. Les modèles à poids ouverts, qui ne fournissent que les paramètres appris et le code permettant de les faire tourner, ressemblent davantage à des versions précises d’un logiciel installé dans un projet.
Les poids d’un modèle ont en moyenne une durée de vie courte, mais ils restent utilisés longtemps, comme beaucoup de logiciels très employés. C’est pourquoi, selon l’auteur, de nombreuses entreprises continuent de faire fonctionner leurs flux de travail sur Llama 3, alors que les comportements agentiques, où un modèle enchaîne des actions de façon autonome, se sont développés plusieurs années plus tard. La recette ouverte, illustrée aujourd’hui par Olmo et par ses prédécesseurs, comme Pythia d’EleutherAI, est un processus coûteux en ressources que n’importe quelle entreprise peut reprendre, modifier et relancer pour produire un nouvel ensemble de poids. Les améliorations apportées par la communauté sur les données ou le code d’entraînement peuvent, dans les meilleurs cas, alimenter la génération suivante.
C’est dans ce cadre que Nvidia investit fortement dans des modèles presque ouverts. Pour ses modèles Nemotron, l’entreprise publie toutes les données qu’elle peut légalement diffuser, ainsi que le code d’entraînement. L’auteur y voit la volonté d’un monde où de nombreuses personnes pourraient construire leurs propres « machines à tokens », afin que l’intelligence ne soit pas monopolisée, un monde qui suppose une forte demande d’inférence de la part de nombreuses entreprises. Un token est une unité de texte traitée par un modèle, et l’inférence désigne l’utilisation du modèle pour produire des réponses.
Une économie exigeante
Le développement de modèles compétitifs reste extrêmement coûteux, mais l’accès à cette course est resté plus large dans l’industrie que beaucoup ne l’auraient imaginé, selon l’auteur. Il note que la plupart des observateurs considèrent l’entraînement comme trop cher et la recette ouverte comme trop en retard pour qu’un nouveau laboratoire centré sur une partie de l’entraînement des LLM soit viable. Les abandons de Databricks et de 01.ai lui semblent toutefois des cas isolés plutôt que le signe d’une tendance générale.
Deux trajectoires se dessinent. Dans la première, l’approche fonctionne : d’après Wired, Nvidia consacrerait 26 milliards de dollars à cette entreprise, et si ce pari réussit, la demande pour ses puces et ses bénéfices dépasseraient le coût de construction des modèles. L’auteur estime que l’écosystème ouvert dépendra de plus en plus du financement de Nvidia dans les années à venir, et que la rémunération économique de ces modèles devra, à terme, être proportionnelle aux revenus générés par les API d’Anthropic et d’OpenAI.
Deux trajectoires possibles
Dans la seconde, si aucune de ces voies financières ne se concrétise, les modèles ouverts suivraient un chemin différent des modèles fermés les plus avancés, axé sur l’efficacité, la modifiabilité et la spécialisation. L’auteur considère ce scénario comme le plus probable : les modèles ouverts resteraient très utiles, mais occuperaient surtout une « longue traîne » face aux modèles fermés, qui détiennent des positions dominantes dans des domaines comme le travail de connaissance, la découverte de médicaments ou le développement logiciel. Cette longue traîne pourrait prendre la forme d’agents spécialisés, déployés sur site, sur des données privées et des tâches répétitives.
L’auteur souligne aussi que l’entraînement devient plus complexe et plus abstrait. L’essor actuel des modèles ouverts repose en grande partie sur le post-entraînement, c’est-à-dire l’adaptation de modèles comme DeepSeek V4 Flash, Inkling Small ou GLM 5.X à des tâches agentiques précises, souvent via un fine-tuning, ou réglage fin. Tinker, selon lui l’interface de réglage fin la plus populaire aujourd’hui, illustre cette pratique. Mais la capacité à entraîner un modèle de base pour en faire un raisonneur agentique général devient, selon lui, aussi opaque que les pratiques de pré-entraînement à grande échelle d’il y a quelques années. Le vocabulaire habituel, fondé sur pré-entraînement, mi-entraînement et post-entraînement, pourrait évoluer vers pré-entraînement, entraînement au raisonnement et post-entraînement.
Le nombre d’acteurs publiant des modèles de base diminue, et certains éditeurs expérimentent des licences à partage de revenus pour l’usage de leurs modèles dans des produits ou pour l’inférence, comme celles de Kimi-K3 et de Qwen3.8-2.4T-A95B. Enfin, l’auteur évoque le cas de Meta, qui pourrait diffuser ses poids sous licence ouverte : selon lui, la publication de Muse Spark 1.2, un modèle très performant, freinerait la croissance des revenus d’Anthropic et d’OpenAI, qui reposent sur la vente de tokens. Nvidia veut apprendre à chacun à pêcher des tokens, tandis que Meta inonde le marché de tokens.
