Investigadores de Stanford publicaram Memorilla, um sistema de memória de código aberto destinado a grandes modelos de linguagem (LLM). O dispositivo lê uma coleção completa de documentos e transmite ao LLM congelado apenas 16 tokens de memória. Segundo o artigo, esta abordagem obtém melhores resultados do que um LLM que recebe a totalidade dos documentos no seu contexto, utilizando muito menos tokens.
Um módulo de memória compacto
Um LLM só pode explorar o que figura na sua janela de contexto, ou seja, o texto que recebe no momento de responder. O Memorilla propõe uma terceira via entre o contexto completo e a recuperação por fragmentos, que consiste em injetar no modelo uma representação aprendida de todo o corpus. O módulo conta com 194 M de parâmetros treináveis e produz sempre 16 tokens de memória, independentemente do tamanho da coleção.
O funcionamento decorre em três etapas. Um codificador congelado, Qwen3-Embedding-4B, transforma cada documento uma única vez, de modo que a adição de novos documentos não obriga a recodificar os antigos. Para cada pergunta, 16 posições aprendidas interrogam todo o armazenamento através de duas camadas de atenção cruzada com 8 cabeças. Por fim, estas posições são projetadas no espaço de embedding do descodificador, Qwen3-8B, e colocadas antes da pergunta. Apenas o módulo de memória é treinado, em três fases.
Resultados anunciados pela equipa
No benchmark FactKG, o Qwen3-8B congelado atinge 84,33 % com o Memorilla, contra 80,43 % quando cada documento é colocado no contexto, utilizando 108 vezes menos tokens de documentos. Os investigadores indicam uma média de 49,68 em oito benchmarks, a mais elevada entre os métodos comparados, e uma melhor pontuação em cinco desses oito testes. No PersonaMem-v2, a precisão atinge 44,60 %, contra 27,92 % com o contexto completo. Estes resultados são auto-declarados pela equipa de investigação.
O artigo assinala também limitações. No PubMedQA, o Memorilla obtém 59,00 %, enquanto o LLMLingua-2 atinge 69,00 %. Os resumos deste conjunto de dados totalizam apenas 324 tokens, o que deixa pouco espaço para compressão. O sistema é ainda descrito como mais fraco em factos detalhados.
Um uso aberto, com exigências de hardware
O código do Memorilla, as receitas de treino e os pontos de controlo são publicados sob licença Apache 2.0. A execução requer Linux, GPUs CUDA e Python 3.11. O arranque rápido exige uma GPU de 80 GB, e as receitas foram executadas em H100 de 80 GB. O primeiro lançamento descarrega cerca de 25 GB de modelos. Segundo o artigo, o tempo de resposta é de 0,74 s para 512 documentos num H100, contra 0,75 s a 19,9 s para o contexto completo, uma diferença que os autores quantificam em 27 vezes. Os investigadores publicaram também PersonalizationV4, um conjunto de dados de 149 utilizadores sintéticos com 200 conversas cada, sob licença CC BY 4.0.
