Un grande modello linguistico, o LLM (large language model), è un sistema di intelligenza artificiale addestrato su vastissimi insiemi di dati per analizzare, prevedere e generare linguaggio naturale. I GPT di OpenAI, Claude di Anthropic o Gemini di Google sono tra i più noti e vengono spesso utilizzati per redigere, correggere o programmare. La guida pubblicata da ElevenLabs ripercorre il loro funzionamento, il loro addestramento e i loro limiti.
Come funziona un LLM
L’elaborazione inizia con la tokenizzazione: il testo viene suddiviso in unità chiamate token, che vengono poi trasformate in rappresentazioni numeriche. La maggior parte dei sistemi attuali si basa sull’architettura transformer, che utilizza meccanismi di auto-attenzione per valutare le relazioni tra i token. Il modello prevede quindi il token più probabile per proseguire una sequenza.
L’addestramento si svolge in più fasi. Gli sviluppatori costituiscono prima dei corpora, spesso a partire da testi estratti da internet, che comprendono token che si contano in trilioni. Il modello apprende poi, senza supervisione, la grammatica, le relazioni fattuali e il contesto linguistico. Viene infine affinato (fine-tuning) su set di dati più piccoli e specializzati, quindi regolato tramite apprendimento per rinforzo a partire dai feedback di revisori umani. Secondo la fonte, le aziende mantengono molto spesso il loro processo di addestramento confidenziale e, nella maggior parte dei casi, non pubblicano il loro codice sorgente né i loro pesi.
Il parametro chiamato « temperatura » determina il grado di casualità delle risposte. Un valore basso produce risultati standard e costanti, mentre un valore elevato genera output più vari. Deve essere adattato al compito: una creazione richiede una temperatura più alta, una sintesi di dati una temperatura più bassa.
Architetture e utilizzi
I modelli si suddividono in tre grandi famiglie: i modelli con solo encoder, utili per la classificazione di testi o la ricerca semantica; i modelli con solo decoder, alla base dei chatbot conversazionali e degli strumenti di generazione di codice; e i modelli ibridi encoder-decoder, adatti alla traduzione o al riassunto di documenti. Le architetture dette « Mixture of Experts » (MoE) instradano ogni token verso piccole sottoreti specializzate, mentre i modelli a spazio di stati, come Mamba, elaborano efficacemente testi molto lunghi.
Gli utilizzi si sono moltiplicati. Motori di ricerca conversazionali come Bing, Google AI Overviews o Perplexity si basano su questi modelli per analizzare il web in tempo reale. GitHub Copilot completa funzioni e traduce codice da un linguaggio a un altro, mentre Grammarly rifinisce testi e NotebookLM riassunge lunghi rapporti.
Limiti ben identificati
I LLM presentano diversi limiti. Nulla garantisce l’esattezza delle loro risposte, che possono contenere informazioni inventate o errate, un fenomeno chiamato « allucinazioni ». Senza RAG (retrieval-augmented generation), che collega il modello a un database esterno, le loro conoscenze rimangono limitate a quelle acquisite durante l’addestramento. Un modello riproduce anche i bias presenti nei suoi dati, e la sua finestra di contesto, cioè la quantità di testo che può elaborare alla volta, è fissa. Infine, più un modello è grande, più il suo funzionamento richiede potenza di calcolo, con un costo e una latenza più elevati. Secondo ElevenLabs, l’integrazione del RAG permetterebbe di ovviare al problema delle conoscenze statiche.
