Um grande modelo de linguagem, ou LLM (large language model), é um sistema de inteligência artificial treinado em conjuntos de dados muito vastos para analisar, prever e gerar linguagem natural. Os GPT da OpenAI, o Claude da Anthropic ou o Gemini da Google estão entre os mais conhecidos e são frequentemente usados para redigir, corrigir ou programar. O guia publicado pela ElevenLabs revisita o seu funcionamento, o seu treino e as suas limitações.
Como funciona um LLM
O processamento começa com a tokenização: o texto é dividido em unidades chamadas tokens, que são depois transformadas em representações numéricas. A maioria dos sistemas atuais baseia-se na arquitetura transformer, que usa mecanismos de auto-atenção para avaliar as relações entre os tokens. O modelo prevê então o token mais provável para continuar uma sequência.
O treino decorre em várias etapas. Os desenvolvedores constituem primeiro corpora, muitas vezes a partir de textos extraídos da internet, que incluem tokens contabilizados em triliões. O modelo aprende depois, sem supervisão, a gramática, as relações factuais e o contexto linguístico. É finalmente afinado (fine-tuning) em conjuntos de dados mais pequenos e especializados e depois ajustado por aprendizagem por reforço a partir de feedback de revisores humanos. Segundo a fonte, as empresas mantêm na maioria das vezes o seu processo de treino confidencial e não publicam, na sua maioria, o seu código fonte nem os seus pesos.
O ajuste chamado « temperatura » determina o grau de aleatoriedade das respostas. Um valor baixo produz resultados padrão e constantes, enquanto um valor elevado gera saídas mais variadas. Deve ser adaptado à tarefa: uma criação exige uma temperatura mais alta, uma síntese de dados uma temperatura mais baixa.
Arquiteturas e usos
Os modelos dividem-se em três grandes famílias: os modelos apenas com codificador, úteis para a classificação de textos ou a pesquisa semântica; os modelos apenas com descodificador, na base dos chatbots conversacionais e das ferramentas de geração de código; e os modelos híbridos codificador-descodificador, adaptados à tradução ou ao resumo de documentos. As arquiteturas designadas « Mixture of Experts » (MoE) encaminham cada token para pequenas sub-redes especializadas, enquanto os modelos com espaço de estados, como o Mamba, processam eficazmente textos muito longos.
Os usos multiplicaram-se. Motores de pesquisa conversacionais como o Bing, o Google AI Overviews ou o Perplexity apoiam-se nestes modelos para analisar a web em tempo real. O GitHub Copilot completa funções e traduz código de uma linguagem para outra, enquanto o Grammarly polida textos e o NotebookLM resume relatórios longos.
Limitações bem identificadas
Os LLM apresentam várias limitações. Nada garante a exatidão das suas respostas, que podem conter informações inventadas ou erradas, um fenómeno chamado « alucinações ». Sem RAG (retrieval-augmented generation), que liga o modelo a uma base de dados externa, os seus conhecimentos permanecem limitados aos adquiridos durante o treino. Um modelo reproduz também os enviesamentos presentes nos seus dados, e a sua janela de contexto, ou seja, a quantidade de texto que consegue processar de uma vez, é fixa. Por fim, quanto maior for um modelo, mais o seu funcionamento exige poder de computação, com um custo e uma latência mais elevados. Segundo a ElevenLabs, a integração do RAG permitiria colmatar o problema dos conhecimentos congelados.
