LLM数字表征的趋同演化
推荐指数 59.0 NO. 013 · 2026.04.25
发布2026/04/24Score66Comments27
为什么值得看
不同架构的语言模型（Transformer、RNN、LSTM）在数字表征上呈现出惊人的趋同性：傅里叶域中均出现周期为2、5、10的峰值。但研究者发现，仅有部分模型能学到几何可分的特征，实现线性分类数字模运算。
编辑判断
这项研究戳破了一个常见误解：可解释性研究者看到傅里叶域的周期峰值就默认模型"理解"了数字结构，实际上稀疏性只是必要条件。真正能做模运算线性分类的模型，内部表征需要满足额外的几何约束。
这对机制可解释性社区是个提醒：别急着从频谱模式跳转到功能结论。如果你在做LLM数学能力的电路追踪或探测实验，建议先验证表征的几何可分性，否则可能高估模型的实际推理能力。
论文方法偏理论证明，但结论可以直接指导实验设计，不需要额外算力。