线性注意力量化误差可控了
推荐指数 62.0 NO. 027 · 2026.10.09
upvotes100comments1
为什么值得看
STEPQuant 发现线性注意力中循环状态量化误差的时空分布规律，提出针对性低精度量化方案。可将 KV cache 替换后的内存瓶颈进一步压缩，对高并发推理 serving 场景有直接收益。
媒体预览
编辑判断
之前线性注意力省 KV cache 的代价是固定状态矩阵的内存开销，量化又容易崩，大家多在 8bit 止步。这篇的关键发现是状态矩阵的行方向和列方向误差敏感度差异极大，可以按"寿命"和"重要性"做非对称量化，比如长寿命状态用更高精度、短寿命大胆砍到 4bit。
实验在 125M 到 1.4B 的 Mamba 和 RWKV 上做的，没看到更大规模验证，且 HuggingFace 上还没放代码。如果你在做线性注意力的生产部署，建议先盯着作者 repo，但别急着替换现有方案。