Investigadores de Stanford han publicado Memorilla, un sistema de memoria de código abierto para grandes modelos de lenguaje (LLM). El dispositivo lee una colección completa de documentos y solo transmite al LLM congelado 16 tokens de memoria. Según el artículo, este enfoque obtiene mejores resultados que un LLM que recibe la totalidad de los documentos en su contexto, utilizando muchos menos tokens.
Un módulo de memoria compacto
Un LLM solo puede explotar lo que figura en su ventana de contexto, es decir, el texto que recibe al momento de responder. Memorilla propone una tercera vía entre el contexto completo y la recuperación por fragmentos, que consiste en inyectar en el modelo una representación aprendida del corpus completo. El módulo cuenta con 194 M de parámetros entrenables, y siempre produce 16 tokens de memoria, independientemente del tamaño de la colección.
El funcionamiento se desarrolla en tres etapas. Un codificador congelado, Qwen3-Embedding-4B, transforma cada documento una sola vez, de modo que la adición de nuevos documentos no obliga a recodificar los antiguos. Para cada pregunta, 16 espacios aprendidos consultan el conjunto del almacén gracias a dos capas de atención cruzada de 8 cabezas. Finalmente, estos espacios se proyectan en el espacio de embedding del decodificador, Qwen3-8B, y se colocan delante de la pregunta. Solo el módulo de memoria se entrena, en tres fases.
Resultados anunciados por el equipo
En el benchmark FactKG, el Qwen3-8B congelado alcanza 84,33 % con Memorilla, frente a 80,43 % cuando cada documento se coloca en el contexto, con 108 veces menos tokens de documentos. Los investigadores indican una media de 49,68 en ocho benchmarks, la más alta entre los métodos comparados, y una mejor puntuación en cinco de esos ocho tests. En PersonaMem-v2, la precisión alcanza el 44,60 %, frente al 27,92 % con el contexto completo. Estas puntuaciones son auto-declaradas por el equipo de investigación.
El artículo señala también limitaciones. En PubMedQA, Memorilla obtiene un 59,00 %, mientras que LLMLingua-2 alcanza el 69,00 %. Los resúmenes de este conjunto de datos solo suman 324 tokens, lo que deja poco margen para la compresión. El sistema se describe además como más débil en los hechos finos.
Un uso abierto, con requisitos de hardware
El código de Memorilla, las recetas de entrenamiento y los puntos de control se publican bajo licencia Apache 2.0. La ejecución requiere Linux, GPU CUDA y Python 3.11. El inicio rápido demanda una GPU de 80 GB, y las recetas se ejecutaron en H100 de 80 GB. El primer lanzamiento descarga unos 25 GB de modelos. Según el artículo, el tiempo de respuesta es de 0,74 s para 512 documentos en un H100, frente a 0,75 s a 19,9 s para el contexto completo, una diferencia que los autores cifran en 27 veces. Los investigadores también han publicado PersonalizationV4, un conjunto de datos de 149 usuarios sintéticos con 200 conversaciones cada uno, bajo licencia CC BY 4.0.
