Memorilla：用固定语义记忆压缩无限上下文
推荐指数 68.0 NO. 017 · 2026.11.07
发布2026/11/06Score66Comments4
简介
Memorilla 是一种新型 LLM 记忆系统，能将整个文档集合动态压缩为固定数量的查询相关语义 token，替代传统 RAG 的片段拼接方式。对做长上下文 agent 和个性化对话系统的团队，这可能是绕过上下文瓶颈的新路径。
编辑判断
现有记忆系统的主流做法是用向量检索召回 top-k 片段再拼进 prompt，但 k 大了浪费 token、小了丢信息，而且多文档关联推理时拼接逻辑很脆弱。Memorilla 的固定压缩思路更接近人类"提取要点再回忆"的机制，而不是机械翻书。
不过论文只放出了抽象，关键细节——压缩后的语义表示是可学习的 soft prompt 还是离散 token、有没有对比传统 RAG 的端到端 benchmark、推理时延如何——都没公开。HackerNews 上 66 分 4 评论的热度也说明社区还在观望。
建议等代码或技术报告放出后重点看两点：一是压缩表示的泛化性，换任务是否需要重新训练；二是对比 MemGPT、LangChain 的 ConversationBuffer 等现有方案的实际 token 效率和准确率 trade-off。如果开源，做客服 agent 和知识库问答的团队可以优先试用。
社区反馈
意见分歧 5 条评论
核心争论：Memorilla 的压缩记忆是否以牺牲准确性换取 token 效率，能否真正替代传统 RAG
So if I'm reading this right, it's basically a specialized embedding of a RAG, and then a model in the middle takes the agent's queries and returns responses in a form that is injecting into the main model's input token stream directly i.e. skipping actual text. And the injection format is INCREDIBL
It looks like another difference with RAGs is that instead of reranking the doc vectors and taking the top 5 or so, this paper mixes all the docs (weighted by relevance) into a fixed number of "memory tokens". It looks like this helps avoid a problem I've had with RAG - when a fact isn't local to a
> ...a problem I've had with RAG - when a fact isn't local to a single patch of text Is this a problem, though? Vector similarity should surface the relevant, related patches.