Stanford veröffentlicht Memorilla als Open Source : Ein Latent-Memory-Modul für eingefrorene LLMs

Stanford veröffentlicht Memorilla als Open Source : Ein Latent-Memory-Modul für eingefrorene LLMs
2 Minuten Lesezeit

Forscher von Stanford haben Memorilla veröffentlicht, ein Open-Source-Speichersystem für große Sprachmodelle (LLM). Das System liest eine vollständige Sammlung von Dokumenten und übergibt dem eingefrorenen LLM nur 16 Tokens an Speicher. Laut dem Artikel erzielt dieser Ansatz bessere Ergebnisse als ein LLM, das die gesamten Dokumente in seinem Kontext erhält, und verbraucht dabei deutlich weniger Tokens.

Ein kompaktes Speichermodul

Ein LLM kann nur das nutzen, was sich in seinem Kontextfenster befindet, also dem Text, den es zum Zeitpunkt der Antwort erhält. Memorilla bietet einen dritten Weg zwischen vollständigem Kontext und fragmentbasierter Abfrage: Es injiziert eine gelernte Repräsentation des gesamten Korpus in das Modell. Das Modul verfügt über 194 M trainierbare Parameter und erzeugt stets 16 Speichertokens, unabhängig von der Größe der Sammlung.

Die Funktionsweise erfolgt in drei Schritten. Ein eingefrorener Encoder, Qwen3-Embedding-4B, transformiert jedes Dokument nur einmal, sodass das Hinzufügen neuer Dokumente keine Neuverarbeitung der alten erfordert. Für jede Frage fragen 16 gelernte Slots den gesamten Bestand mittels zweier Kreuz-Attention-Layer mit 8 Köpfen ab. Schließlich werden diese Slots in den Embedding-Raum des Decoders, Qwen3-8B, projiziert und vor die Frage gestellt. Nur das Speichermodul wird trainiert, und zwar in drei Phasen.

Von dem Team angekündigte Ergebnisse

Auf dem Benchmark FactKG erreicht der eingefrorene Qwen3-8B mit Memorilla 84,33 %, verglichen mit 80,43 %, wenn jedes Dokument im Kontext platziert wird, wobei 108-mal weniger Dokumententokens verwendet werden. Die Forscher geben einen Durchschnitt von 49,68 über acht Benchmarks an, den höchsten unter den verglichenen Methoden, und eine bessere Punktzahl in fünf dieser acht Tests. Auf PersonaMem-v2 erreicht die Genauigkeit 44,60 %, gegenüber 27,92 % mit vollständigem Kontext. Diese Werte wurden vom Forschungsteam selbst angegeben.

Der Artikel weist auch auf Grenzen hin. Auf PubMedQA erzielt Memorilla 59,00 %, während LLMLingua-2 auf 69,00 % kommt. Die Zusammenfassungen in diesem Datensatz umfassen nur 324 Tokens, was wenig Raum für Kompression lässt. Das System wird zudem als schwächer bei feingranularen Fakten beschrieben.

Offene Nutzung mit Hardwareanforderungen

Der Code von Memorilla, die Trainingsrezepte und die Checkpoints werden unter der Apache-2.0-Lizenz veröffentlicht. Die Ausführung erfordert Linux, CUDA-GPUs und Python 3.11. Der Schnellstart benötigt eine 80-GB-GPU, und die Rezepte wurden auf H100 80 GB ausgeführt. Der erste Start lädt etwa 25 GB an Modellen herunter. Laut Artikel beträgt die Antwortzeit 0,74 s für 512 Dokumente auf einer H100, verglichen mit 0,75 s bis 19,9 s für den vollständigen Kontext – ein Unterschied, den die Autoren mit dem 27-fachen beziffern. Die Forscher haben auch PersonalizationV4 veröffentlicht, einen Datensatz mit 149 synthetischen Nutzern und jeweils 200 Konversationen, unter der CC-BY-4.0-Lizenz.

S’abonner
Notification pour
guest

0 Commentaires
Le plus ancien
Le plus récent Le plus populaire
0
Nous aimerions avoir votre avis, veuillez laisser un commentaire.x