Naukowcy ze Stanford opublikowali Memorilla, system pamięci typu open source przeznaczony dla dużych modeli językowych (LLM). Urządzenie odczytuje kompletną kolekcję dokumentów i przekazuje do zamrożonego LLM jedynie 16 tokenów pamięci. Według artykułu, to podejście daje lepsze wyniki niż LLM otrzymujący całość dokumentów w swoim kontekście, przy użyciu znacznie mniejszej liczby tokenów.
Kompaktowy moduł pamięci
LLM może wykorzystać tylko to, co znajduje się w jego oknie kontekstowym, czyli tekst otrzymany w momencie odpowiadania. Memorilla proponuje trzecią drogę między pełnym kontekstem a pobieraniem fragmentów, polegającą na wstrzyknięciu do modelu wyuczonej reprezentacji całego korpusu. Moduł zawiera 194 M parametrów możliwych do trenowania i zawsze produkuje 16 tokenów pamięci, niezależnie od rozmiaru kolekcji.
Działanie przebiega w trzech etapach. Zamrożony enkoder, Qwen3-Embedding-4B, przekształca każdy dokument tylko raz, tak że dodanie nowych dokumentów nie wymaga ponownego kodowania starych. Dla każdego pytania, 16 wyuczonych slotów przeszukuje cały zasób dzięki dwóm warstwom uwagi krzyżowej z 8 głowami. Na koniec, te sloty są rzutowane w przestrzeń embeddingu dekodera, Qwen3-8B, i umieszczane przed pytaniem. Trenowany jest tylko moduł pamięci, w trzech fazach.
Ogłoszone przez zespół wyniki
Na benchmarku FactKG, zamrożony Qwen3-8B osiąga 84,33 % z Memorillą, w porównaniu do 80,43 %, gdy każdy dokument jest umieszczany w kontekście, przy użyciu 108 razy mniej tokenów dokumentów. Naukowcy wskazują średnią 49,68 na ośmiu benchmarkach, najwyższą spośród porównywanych metod, oraz lepszy wynik na pięciu z tych ośmiu testów. Na PersonaMem-v2, precyzja osiąga 44,60 %, w porównaniu do 27,92 % z pełnym kontekstem. Te wyniki są samodzielnie zgłoszone przez zespół badawczy.
Artykuł wskazuje również na ograniczenia. Na PubMedQA, Memorilla osiąga 59,00 %, podczas gdy LLMLingua-2 dochodzi do 69,00 %. Streszczenia w tym zbiorze danych liczą tylko 324 tokeny, co pozostawia niewiele miejsca na kompresję. System jest ponadto opisany jako słabszy w przypadku drobnych faktów.
Otwarte użycie, z wymaganiami sprzętowymi
Kod Memorilli, przepisy treningowe i punkty kontrolne są opublikowane na licencji Apache 2.0. Uruchomienie wymaga Linuksa, GPU CUDA i Pythona 3.11. Szybki start wymaga GPU o pojemności 80 GB, a przepisy były wykonywane na H100 80 GB. Pierwsze uruchomienie pobiera około 25 GB modeli. Według artykułu, czas odpowiedzi wynosi 0,74 s dla 512 dokumentów na H100, w porównaniu do 0,75 s do 19,9 s dla pełnego kontekstu, co autorzy określają jako 27-krotną różnicę. Naukowcy opublikowali również PersonalizationV4, zbiór danych 149 syntetycznych użytkowników zawierający po 200 konwersacji każdy, na licencji CC BY 4.0.
