Een groot taalmodel, of LLM (large language model), is een systeem voor kunstmatige intelligentie dat getraind is op zeer grote datasets om natuurlijke taal te analyseren, voorspellen en genereren. De GPT-modellen van OpenAI, Claude van Anthropic of Gemini van Google behoren tot de bekendste en worden vaak gebruikt voor het schrijven, corrigeren of programmeren van teksten. De gids gepubliceerd door ElevenLabs gaat in op hun werking, hun training en hun beperkingen.
Hoe een LLM werkt
De verwerking begint met tokenisatie: de tekst wordt opgesplitst in eenheden genaamd tokens, die vervolgens worden omgezet in numerieke representaties. De meeste huidige systemen zijn gebaseerd op de transformer-architectuur, die gebruikmaakt van zelf-attentiemechanismen om de relaties tussen tokens te evalueren. Het model voorspelt dan de meest waarschijnlijke token om een reeks voort te zetten.
De training verloopt in verschillende fasen. Ontwikkelaars stellen eerst corpora samen, vaak op basis van teksten die van internet zijn gehaald, die tokens bevatten die in de biljoenen lopen. Vervolgens leert het model, zonder supervisie, de grammatica, feitelijke relaties en de taalkundige context. Ten slotte wordt het verfijnd (fine-tuning) op kleinere en gespecialiseerde datasets en vervolgens bijgesteld door reinforcement learning op basis van feedback van menselijke beoordelaars. Volgens de bron houden bedrijven hun trainingsproces meestal vertrouwelijk en publiceren ze in meerderheid hun broncode noch hun gewichten.
De instelling genaamd « temperatuur » bepaalt de mate van willekeur in de antwoorden. Een lage waarde levert standaard en consistente resultaten op, terwijl een hoge waarde meer gevarieerde uitvoer genereert. Deze moet worden aangepast aan de taak: creatief werk vraagt om een hogere temperatuur, het synthetiseren van gegevens om een lagere temperatuur.
Architecturen en toepassingen
De modellen zijn onder te verdelen in drie grote families: modellen met alleen een encoder, nuttig voor tekstclassificatie of semantisch zoeken; modellen met alleen een decoder, de basis van conversatie-chatbots en codegeneratietools; en hybride encoder-decoder-modellen, geschikt voor vertaling of het samenvatten van documenten. De zogenaamde « Mixture of Experts » (MoE)-architecturen leiden elke token naar kleine gespecialiseerde subnetwerken, terwijl modellen met een toestandsruimte, zoals Mamba, zeer lange teksten efficiënt verwerken.
De toepassingen zijn sterk toegenomen. Conversatiezoekmachines zoals Bing, Google AI Overviews of Perplexity maken gebruik van deze modellen om het web in realtime te analyseren. GitHub Copilot completeert functies en vertaalt code van de ene naar de andere taal, terwijl Grammarly teksten opfrist en NotebookLM lange rapporten samenvat.
Goed geïdentificeerde beperkingen
LLM’s hebben verschillende beperkingen. Niets garandeert de juistheid van hun antwoorden, die verzonnen of foutieve informatie kunnen bevatten, een fenomeen dat « hallucinaties » wordt genoemd. Zonder RAG (retrieval-augmented generation), die het model koppelt aan een externe database, blijven hun kennis beperkt tot wat tijdens de training is opgedaan. Een model reproduceert ook de vooroordelen die in zijn gegevens aanwezig zijn, en zijn contextvenster, dat wil zeggen de hoeveelheid tekst die het tegelijk kan verwerken, is vast. Ten slotte geldt: hoe groter een model, hoe meer rekenkracht nodig is voor zijn werking, met hogere kosten en latentie tot gevolg. Volgens ElevenLabs zou de integratie van RAG het probleem van bevroren kennis kunnen verhelpen.
