Un grand modèle de langage, ou LLM (large language model), est un système d’intelligence artificielle entraîné sur de très vastes ensembles de données pour analyser, prédire et générer du langage naturel. Les GPT d’OpenAI, Claude d’Anthropic ou Gemini de Google font partie des plus connus, et servent souvent à rédiger, corriger ou programmer. Le guide publié par ElevenLabs revient sur leur fonctionnement, leur entraînement et leurs limites.
Comment fonctionne un LLM
Le traitement commence par la tokenisation : le texte est découpé en unités appelées tokens, qui sont ensuite transformés en représentations numériques. La plupart des systèmes actuels reposent sur l’architecture transformer, qui utilise des mécanismes d’auto-attention pour évaluer les relations entre les tokens. Le modèle prédit alors le token le plus probable pour poursuivre une séquence.
L’entraînement se déroule en plusieurs étapes. Les développeurs constituent d’abord des corpus, souvent à partir de textes extraits d’internet, qui comprennent des tokens se comptant en trillions. Le modèle apprend ensuite, sans supervision, la grammaire, les relations factuelles et le contexte linguistic. Il est enfin affiné (fine-tuning) sur des jeux de données plus petits et spécialisés, puis ajusté par apprentissage par renforcement à partir de retours de relecteurs humains. Selon la source, les entreprises gardent le plus souvent leur processus d’entraînement confidentiel et ne publient pas, dans leur majorité, leur code source ni leurs poids.
Le réglage appelé « température » détermine le degré d’aléa des réponses. Une valeur basse produit des résultats standards et constants, tandis qu’une valeur élevée génère des sorties plus variées. Il doit être adapté à la tâche : une création demande une température plus haute, une synthèse de données une température plus basse.
Architectures et usages
Les modèles se répartissent en trois grandes familles : les modèles à encodeur seul, utiles pour la classification de textes ou la recherche sémantique, les modèles à décodeur seul, à la base des chatbots conversationnels et des outils de génération de code, et les modèles hybrides encodeur-décodeur, adaptés à la traduction ou au résumé de documents. Les architectures dites « Mixture of Experts » (MoE) acheminent chaque token vers de petits sous-réseaux spécialisés, tandis que les modèles à espace d’états, comme Mamba, traitent efficacement des textes très longs.
Les usages se sont multipliés. Des moteurs de recherche conversationnels comme Bing, Google AI Overviews ou Perplexity s’appuient sur ces modèles pour analyser le web en temps réel. GitHub Copilot complète des fonctions et traduit du code d’un langage à un autre, tandis que Grammarly polit des textes et que NotebookLM résume de longs rapports.
Des limites bien identifiées
Les LLM présentent plusieurs limites. Rien ne garantit l’exactitude de leurs réponses, qui peuvent contenir des informations inventées ou erronées, un phénomène appelé « hallucinations ». Sans RAG (retrieval-augmented generation), qui relie le modèle à une base de données externe, leurs connaissances restent limitées à celles acquises pendant l’entraînement. Un modèle reproduit aussi les biais présents dans ses données, et sa fenêtre de contexte, c’est-à-dire la quantité de texte qu’il peut traiter à la fois, est fixe. Enfin, plus un modèle est grand, plus son fonctionnement demande de puissance de calcul, avec un coût et une latence plus élevés. Selon ElevenLabs, l’intégration du RAG permettrait de pallier le problème des connaissances figées.
