Un modelo de lenguaje grande, o LLM (large language model), es un sistema de inteligencia artificial entrenado en conjuntos de datos muy extensos para analizar, predecir y generar lenguaje natural. Los GPT de OpenAI, Claude de Anthropic o Gemini de Google están entre los más conocidos y suelen usarse para redactar, corregir o programar. La guía publicada por ElevenLabs repasa su funcionamiento, su entrenamiento y sus límites.
Cómo funciona un LLM
El procesamiento comienza con la tokenización: el texto se divide en unidades llamadas tokens, que luego se transforman en representaciones numéricas. La mayoría de los sistemas actuales se basan en la arquitectura transformer, que utiliza mecanismos de auto-atención para evaluar las relaciones entre los tokens. El modelo predice entonces el token más probable para continuar una secuencia.
El entrenamiento se desarrolla en varias etapas. Los desarrolladores constituyen primero corpus, a menudo a partir de textos extraídos de internet, que incluyen tokens que se cuentan en billones. El modelo aprende luego, sin supervisión, la gramática, las relaciones factuales y el contexto lingüístico. Finalmente, se afina (fine-tuning) con conjuntos de datos más pequeños y especializados, y luego se ajusta mediante aprendizaje por refuerzo a partir de retroalimentación de revisores humanos. Según la fuente, las empresas suelen mantener su proceso de entrenamiento confidencial y, en su mayoría, no publican su código fuente ni sus pesos.
El ajuste llamado « temperatura » determina el grado de aleatoriedad de las respuestas. Un valor bajo produce resultados estándar y constantes, mientras que un valor alto genera salidas más variadas. Debe adaptarse a la tarea: una creación requiere una temperatura más alta, una síntesis de datos una temperatura más baja.
Arquitecturas y usos
Los modelos se dividen en tres grandes familias: los modelos con solo codificador, útiles para la clasificación de textos o la búsqueda semántica; los modelos con solo decodificador, base de los chatbots conversacionales y las herramientas de generación de código; y los modelos híbridos codificador-decodificador, adecuados para la traducción o el resumen de documentos. Las arquitecturas denominadas « Mixture of Experts » (MoE) dirigen cada token hacia pequeñas subredes especializadas, mientras que los modelos de espacio de estados, como Mamba, procesan eficientemente textos muy largos.
Los usos se han multiplicado. Motores de búsqueda conversacionales como Bing, Google AI Overviews o Perplexity se apoyan en estos modelos para analizar la web en tiempo real. GitHub Copilot completa funciones y traduce código de un lenguaje a otro, mientras que Grammarly pule textos y NotebookLM resume largos informes.
Límites bien identificados
Los LLM presentan varias limitaciones. Nada garantiza la exactitud de sus respuestas, que pueden contener información inventada o errónea, un fenómeno llamado « alucinaciones ». Sin RAG (retrieval-augmented generation), que conecta el modelo a una base de datos externa, sus conocimientos se limitan a los adquiridos durante el entrenamiento. Un modelo también reproduce los sesgos presentes en sus datos, y su ventana de contexto, es decir, la cantidad de texto que puede procesar a la vez, es fija. Por último, cuanto más grande es un modelo, más potencia de cálculo requiere su funcionamiento, con un coste y una latencia más elevados. Según ElevenLabs, la integración del RAG permitiría paliar el problema de los conocimientos estáticos.
