预训练数据投毒植入Agent后门
推荐指数 74.0 NO. 017 · 2026.11.03
发布2026/11/02Score85Comments28
简介
研究者首次证明在预训练数据中投毒0.1%即可在LLM Agent中植入远程代码执行后门，触发后会在用户机器上执行攻击者指令。该团队从头预训练了Qwen3 0.6B/1.7B/4B模型并转为CLI Agent完成端到端验证，暴露了当前预训练数据安全审查的致命盲区。
编辑判断
这篇论文的狠之处在于攻击发生在最上游的预训练阶段，而非传统的微调或RLHF环节，意味着现有基于对齐的安全措施完全无法检测。0.1%的投毒比例在万亿token级别的真实预训练数据中几乎不可能被审计发现。
对做Agent基础设施的团队来说，这意味着"干净数据"假设已经破产。如果你在做企业级Agent部署，需要重新评估数据供应链的信任模型，考虑在推理层增加行为沙箱和异常检测，而不是只依赖模型层面的安全对齐。论文代码未明确开源，但方法复现门槛不高，红蓝双方都应该关注。
社区反馈
意见分歧 28 条评论
核心争论：开源模型后门风险 vs 闭源模型信任危机，防御靠沙箱还是靠透明度
I've been thinking about this for about a year. In my head I've called it "context bombs", though that may not be super accurate. Think back to the movie The Manchurian Candidate. Produce highly capable LLM models then give them away for free. Train them with key phrases/codes etc to perform ne
If you were a malicious actor do you really think this method is going to offer the greatest return on investment?
Sew a million seeds, see what grows.