Stanford publie en open source Memorilla, un module de mémoire latente pour les LLMs figés

Stanford publie en open source Memorilla, un module de mémoire latente pour les LLMs figés
3 min de lecture

Des chercheurs de Stanford ont publié Memorilla, un système de mémoire open source destiné aux grands modèles de langage (LLM). Le dispositif lit une collection complète de documents et ne transmet au LLM figé que 16 tokens de mémoire. Selon l’article, cette approche obtient de meilleurs résultats qu’un LLM recevant l’intégralité des documents dans son contexte, tout en utilisant beaucoup moins de tokens.

Un module de mémoire compact

Un LLM ne peut exploiter que ce qui figure dans sa fenêtre de contexte, c’est-à-dire le texte qu’il reçoit au moment de répondre. Memorilla propose une troisième voie entre le contexte complet et la récupération par fragments, qui consiste à injecter dans le modèle une représentation apprise de l’ensemble du corpus. Le module compte 194 M de paramètres entraînables, et il produit toujours 16 tokens de mémoire, quelle que soit la taille de la collection.

Le fonctionnement se déroule en trois étapes. Un encodeur figé, Qwen3-Embedding-4B, transforme chaque document une seule fois, de sorte que l’ajout de nouveaux documents n’oblige pas à réencoder les anciens. Pour chaque question, 16 emplacements appris interrogent l’ensemble du stock grâce à deux couches d’attention croisée à 8 têtes. Enfin, ces emplacements sont projetés dans l’espace d’embedding du décodeur, Qwen3-8B, et placés devant la question. Seul le module de mémoire est entraîné, en trois phases.

Des résultats annoncés par l’équipe

Sur le benchmark FactKG, le Qwen3-8B figé atteint 84,33 % avec Memorilla, contre 80,43 % lorsque chaque document est placé dans le contexte, avec 108 fois moins de tokens de documents. Les chercheurs indiquent une moyenne de 49,68 sur huit benchmarks, la plus élevée parmi les méthodes comparées, et un meilleur score sur cinq de ces huit tests. Sur PersonaMem-v2, la précision atteint 44,60 %, contre 27,92 % avec le contexte complet. Ces scores sont auto-déclarés par l’équipe de recherche.

L’article signale aussi des limites. Sur PubMedQA, Memorilla obtient 59,00 %, alors que LLMLingua-2 atteint 69,00 %. Les résumés de ce jeu de données ne totalisent que 324 tokens, ce qui laisse peu de place à la compression. Le système est par ailleurs décrit comme plus faible sur les faits fins.

Un usage ouvert, avec des exigences matérielles

Le code de Memorilla, les recettes d’entraînement et les points de contrôle sont publiés sous licence Apache 2.0. L’exécution nécessite Linux, des GPU CUDA et Python 3.11. Le démarrage rapide demande un GPU de 80 Go, et les recettes ont été exécutées sur des H100 80 Go. Le premier lancement télécharge environ 25 Go de modèles. Selon l’article, le temps de réponse est de 0,74 s pour 512 documents sur un H100, contre 0,75 s à 19,9 s pour le contexte complet, soit une différence que les auteurs chiffrent à 27 fois. Les chercheurs ont également publié PersonalizationV4, un jeu de données de 149 utilisateurs synthétiques comptant 200 conversations chacun, sous licence CC BY 4.0.

S’abonner
Notification pour
guest

0 Commentaires
Le plus ancien
Le plus récent Le plus populaire
0
Nous aimerions avoir votre avis, veuillez laisser un commentaire.x