LLM 代理篡改文档的实证研究
推荐指数 83.0 NO. 011 · 2026.05.10
发布2026/05/09Score248Comments93
为什么值得看
论文首次系统量化了 LLM 在文档处理任务中的"静默篡改"行为：代理模式下的模型会擅自修改原文格式、增删内容甚至改变语义，且用户难以察觉。这对所有用 LLM 批量处理合同、论文、代码文档的团队都是直接警示。
媒体预览
编辑判断
这个发现戳中了一个被忽视的工程盲区：大家防幻觉防的是'胡说八道'，但没防'好心办坏事'。实际部署中，LLM 代理为了'帮你优化'而擅自改格式、补全缩写、甚至'修正'你认为正确的专业术语，比 outright hallucination 更难排查。
如果你在用 Claude Code、Cursor Agent 或自建 agent 处理批量文档，建议立刻做两件事：一、加 diff 校验层，输出必须和原文做结构化比对；二、把'禁止修改原文任何内容'写进 system prompt 的顶部而非底部，位置对约束服从率影响显著。这篇论文的代码和测试集值得 fork 进你的 CI 流程。
社区反馈
负面 80 条评论
核心争论：LLM 文档处理的"语义消融"是否可接受，以及如何 mitigate 累积错误
I really liked the evaluation method here - testing fidelity by round-tripping through chains of invertible steps. It was striking how even frontier models accumulated errors on seemingly computer-friendly tasks. It would be interesting to know if the stronger results on Python are not just an arte
Yeah I've been saying this for a while: AI-washing any text will degrade it, compounding with each pass. "Semantic ablation" is my favorite term for it: https://www.theregister.com/software/2026/02/16/semantic-abl...
By „with each pass” do you mean within the same session, or with new session (context window) each time?