Onderzoekers van Stanford hebben Memorilla gepubliceerd, een open source geheugensysteem voor grote taalmodellen (LLM). Het systeem leest een volledige documentencollectie en geeft aan het bevroren LLM slechts 16 tokens aan geheugen door. Volgens het artikel levert deze aanpak betere resultaten op dan een LLM dat alle documenten volledig in zijn context krijgt, terwijl het veel minder tokens gebruikt.
Een compacte geheugenmodule
Een LLM kan alleen gebruikmaken van wat in zijn contextvenster staat, dus de tekst die het ontvangt bij het beantwoorden. Memorilla biedt een derde weg tussen volledige context en fragmentgebaseerde retrieval: het injecteert in het model een geleerde representatie van het volledige corpus. De module bevat 194 M trainbare parameters en produceert altijd 16 tokens aan geheugen, ongeacht de grootte van de collectie.
De werking verloopt in drie stappen. Een bevroren encoder, Qwen3-Embedding-4B, transformeert elk document één keer, zodat het toevoegen van nieuwe documenten niet vereist dat oude opnieuw gecodeerd worden. Voor elke vraag bevragen 16 geleerde slots de volledige voorraad via twee lagen van cross-attention met 8 heads. Ten slotte worden deze slots geprojecteerd in de embeddingruimte van de decoder, Qwen3-8B, en voor de vraag geplaatst. Alleen de geheugenmodule wordt getraind, in drie fasen.
Resultaten bekendgemaakt door het team
Op de FactKG-benchmark behaalt het bevroren Qwen3-8B 84,33 % met Memorilla, tegenover 80,43 % wanneer elk document in de context wordt geplaatst, met 108 keer minder documenttokens. De onderzoekers melden een gemiddelde van 49,68 over acht benchmarks, het hoogste onder de vergeleken methoden, en een betere score op vijf van die acht tests. Op PersonaMem-v2 bereikt de nauwkeurigheid 44,60 %, tegen 27,92 % met volledige context. Deze scores zijn zelf gerapporteerd door het onderzoeksteam.
Het artikel wijst ook op beperkingen. Op PubMedQA behaalt Memorilla 59,00 %, terwijl LLMLingua-2 69,00 % haalt. De samenvattingen in deze dataset beslaan slechts 324 tokens, wat weinig ruimte laat voor compressie. Het systeem wordt verder beschreven als zwakker op fijne feiten.
Open gebruik, met hardware-eisen
De code van Memorilla, de trainingrecepten en de checkpoints zijn gepubliceerd onder de Apache 2.0-licentie. Uitvoering vereist Linux, CUDA-GPU’s en Python 3.11. De quickstart vraagt een GPU van 80 GB, en de recepten zijn uitgevoerd op H100’s van 80 GB. De eerste start downloadt ongeveer 25 GB aan modellen. Volgens het artikel is de antwoordtijd 0,74 s voor 512 documenten op een H100, tegen 0,75 s tot 19,9 s voor volledige context, een verschil dat de auteurs op 27 keer schatten. De onderzoekers hebben ook PersonalizationV4 gepubliceerd, een dataset van 149 synthetische gebruikers met elk 200 gesprekken, onder CC BY 4.0-licentie.
