The AI / news

Стэнфорд опубликовал в открытом доступе Memorilla — модуль латентной памяти для замороженных LLM

Стэнфорд опубликовал в открытом доступе Memorilla — модуль латентной памяти для замороженных LLM
2 мин чтения

Исследователи из Стэнфорда опубликовали Memorilla — систему памяти с открытым исходным кодом для больших языковых моделей (LLM). Устройство читает полную коллекцию документов и передает замороженной LLM всего 16 токенов памяти. Согласно статье, этот подход дает лучшие результаты, чем LLM, получающая все документы целиком в своем контексте, при этом используя гораздо меньше токенов.

Компактный модуль памяти

LLM может использовать только то, что находится в ее контекстном окне, то есть текст, который она получает в момент ответа. Memorilla предлагает третий путь между полным контекстом и извлечением по фрагментам, заключающийся во внедрении в модель изученного представления всего корпуса. Модуль содержит 194 млн обучаемых параметров и всегда выдает 16 токенов памяти, независимо от размера коллекции.

Работа происходит в три этапа. Замороженный энкодер Qwen3-Embedding-4B преобразует каждый документ один раз, так что добавление новых документов не требует перекодирования старых. Для каждого вопроса 16 изученных слотов опрашивают все хранилище с помощью двух слоев перекрестного внимания с 8 головами. Наконец, эти слоты проецируются в пространство эмбеддингов декодера Qwen3-8B и помещаются перед вопросом. Обучается только модуль памяти, в три этапа.

Результаты, объявленные командой

На бенчмарке FactKG замороженный Qwen3-8B достигает 84,33 % с Memorilla, против 80,43 %, когда каждый документ помещается в контекст, при использовании в 108 раз меньше токенов документов. Исследователи указывают средний показатель 49,68 на восьми бенчмарках — самый высокий среди сравниваемых методов — и лучший результат на пяти из этих восьми тестов. На PersonaMem-v2 точность достигает 44,60 % против 27,92 % с полным контекстом. Эти оценки являются самоотчетами исследовательской группы.

В статье также отмечаются ограничения. На PubMedQA Memorilla получает 59,00 %, тогда как LLMLingua-2 достигает 69,00 %. Аннотации в этом наборе данных составляют всего 324 токена, что оставляет мало места для сжатия. Кроме того, система описывается как более слабая в отношении тонких фактов.

Открытое использование с аппаратными требованиями

Код Memorilla, рецепты обучения и контрольные точки опубликованы под лицензией Apache 2.0. Для работы требуется Linux, GPU с поддержкой CUDA и Python 3.11. Быстрый старт требует GPU на 80 ГБ, а рецепты выполнялись на H100 80 ГБ. Первый запуск загружает около 25 ГБ моделей. Согласно статье, время ответа составляет 0,74 с для 512 документов на H100, против 0,75 с до 19,9 с для полного контекста, что авторы оценивают как 27-кратную разницу. Исследователи также опубликовали PersonalizationV4 — набор данных из 149 синтетических пользователей с 200 диалогами каждый — под лицензией CC BY 4.0.

S’abonner
Notification pour
guest

0 Commentaires
Le plus ancien
Le plus récent Le plus populaire
0
Nous aimerions avoir votre avis, veuillez laisser un commentaire.x