Ricercatori di Stanford hanno pubblicato Memorilla, un sistema di memoria open source per grandi modelli linguistici (LLM). Il dispositivo legge una raccolta completa di documenti e trasmette al LLM congelato solo 16 token di memoria. Secondo l’articolo, questo approccio ottiene risultati migliori rispetto a un LLM che riceve l’interezza dei documenti nel suo contesto, utilizzando molti meno token.
Un modulo di memoria compatto
Un LLM può sfruttare solo ciò che figura nella sua finestra di contesto, ovvero il testo che riceve al momento di rispondere. Memorilla propone una terza via tra il contesto completo e il recupero per frammenti, che consiste nell’iniettare nel modello una rappresentazione appresa dell’intero corpus. Il modulo conta 194 M di parametri addestrabili, e produce sempre 16 token di memoria, indipendentemente dalla dimensione della collezione.
Il funzionamento si svolge in tre fasi. Un encoder congelato, Qwen3-Embedding-4B, trasforma ogni documento una sola volta, in modo che l’aggiunta di nuovi documenti non obblighi a ricodificare i vecchi. Per ogni domanda, 16 slot appresi interrogano l’intero stock grazie a due strati di attenzione incrociata a 8 teste. Infine, questi slot sono proiettati nello spazio di embedding del decoder, Qwen3-8B, e posti davanti alla domanda. Solo il modulo di memoria viene addestrato, in tre fasi.
Risultati annunciati dal team
Sul benchmark FactKG, il Qwen3-8B congelato raggiunge 84,33 % con Memorilla, contro 80,43 % quando ogni documento è posto nel contesto, con 108 volte meno token di documenti. I ricercatori indicano una media di 49,68 su otto benchmark, la più alta tra i metodi confrontati, e un punteggio migliore su cinque di questi otto test. Su PersonaMem-v2, la precisione raggiunge il 44,60 %, contro il 27,92 % con il contesto completo. Questi punteggi sono auto-dichiarati dal team di ricerca.
L’articolo segnala anche dei limiti. Su PubMedQA, Memorilla ottiene il 59,00 %, mentre LLMLingua-2 raggiunge il 69,00 %. I riassunti di questo dataset totalizzano solo 324 token, il che lascia poco spazio alla compressione. Il sistema è inoltre descritto come più debole sui fatti fini.
Un uso aperto, con requisiti hardware
Il codice di Memorilla, le ricette di addestramento e i checkpoint sono pubblicati sotto licenza Apache 2.0. L’esecuzione richiede Linux, GPU CUDA e Python 3.11. L’avvio rapido richiede una GPU da 80 GB, e le ricette sono state eseguite su H100 da 80 GB. Il primo lancio scarica circa 25 GB di modelli. Secondo l’articolo, il tempo di risposta è di 0,74 s per 512 documenti su un H100, contro 0,75 s a 19,9 s per il contesto completo, una differenza che gli autori quantificano in 27 volte. I ricercatori hanno anche pubblicato PersonalizationV4, un dataset di 149 utenti sintetici con 200 conversazioni ciascuno, sotto licenza CC BY 4.0.
