スタンフォード大学の研究者らが、大規模言語モデル(LLM)向けのオープンソースメモリシステム「Memorilla」を公開した。この装置は完全な文書コレクションを読み込み、凍結されたLLMに16トークンのメモリのみを渡す。論文によれば、このアプローチは文書全体をコンテキストとして受け取るLLMよりも優れた結果を達成し、使用トークン数も大幅に少ない。
コンパクトなメモリモジュール
LLMは、応答時に受け取るテキストであるコンテキストウィンドウ内の情報しか利用できない。Memorillaは、完全なコンテキストと断片的な検索の中間となる第三の道を提案し、コーパス全体から学習した表現をモデルに注入する。このモジュールは学習可能な1億9400万パラメータを持ち、コレクションのサイズに関わらず常に16トークンのメモリを生成する。
動作は3段階で行われる。まず、凍結されたエンコーダ「Qwen3-Embedding-4B」が各文書を一度だけ変換するため、新しい文書を追加しても既存の文書を再エンコードする必要がない。次に、各質問に対して、16個の学習済みスロットが2層の8ヘッドクロスアテンションを用いてストック全体を照会する。最後に、これらのスロットはデコーダ「Qwen3-8B」の埋め込み空間に投影され、質問の前に配置される。メモリモジュールのみが3段階で学習される。
研究チームが発表した結果
ベンチマーク「FactKG」において、凍結されたQwen3-8BはMemorillaを使用すると84.33%を達成し、各文書をコンテキストに配置した場合の80.43%を上回った。使用文書トークン数は108分の1だった。研究者らは、比較対象の手法の中で8つのベンチマークで平均49.68という最高スコアを記録し、うち5つのテストで最高得点を獲得したと報告している。「PersonaMem-v2」では精度が44.60%に達し、完全なコンテキスト使用時の27.92%を大きく上回った。これらのスコアは研究チームによる自己申告である。
論文では限界点も指摘されている。「PubMedQA」では、Memorillaは59.00%を記録したが、LLMLingua-2は69.00%に達した。このデータセットの要約は合計324トークンしかなく、圧縮の余地がほとんどない。また、システムは細かい事実に関しては弱いと説明されている。
オープンな利用とハードウェア要件
Memorillaのコード、学習レシピ、チェックポイントはApache 2.0ライセンスで公開されている。実行にはLinux、CUDA対応GPU、Python 3.11が必要。クイックスタートには80GBのGPUが必要で、レシピは80GB H100上で実行された。初回起動時には約25GBのモデルがダウンロードされる。論文によれば、H100上で512文書に対する応答時間は0.74秒であり、完全なコンテキスト使用時の0.75秒から19.9秒と比較して、著者らが27倍の差と算出した速度差を示す。研究者らはまた、149人の合成ユーザーがそれぞれ200の会話を持つデータセット「PersonalizationV4」をCC BY 4.0ライセンスで公開した。
