低成本外挂记忆解决长上下文难题
推荐指数 73.0 NO. 023 · 2026.05.14
upvotes87comments3
为什么值得看
δ-mem 在冻结的注意力层外接一个固定大小的关联记忆状态，通过 delta-rule 在线更新，用低秩修正替代直接扩展上下文窗口。对做长文本助手和 Agent 的团队来说，这是比无限上下文更务实的工程路线。
媒体预览
编辑判断
长上下文竞赛走到今天，纯靠扩展窗口的边际效益已经很低——128K 的模型照样记不住关键信息。δ-mem 的聪明之处在于把记忆和计算解耦： backbone 完全不动，外挂一个可更新的低秩矩阵，推理时只做轻量修正。
这跟 MemGPT 的软件层虚拟内存、以及 H2O 的 KV Cache 压缩是不同思路，δ-mem 更靠近硬件友好的方向。论文提到状态矩阵固定大小，意味着内存开销可控，但 delta-rule 的更新稳定性在实际对话中会不会漂移还需要验证。
如果作者开源代码，建议优先在需要多轮状态保持的 Agent 场景跑测试，比如工具调用链跟踪或长期个性化记忆，这类任务对上下文利用效率最敏感。