AMAZINGINDEX.COM 日报快照
60.1
VOL. 2026.07
2026.07.10
← 返回 2026.07.10 日报
日报快照 · Daily Snapshot
NO. 026

Grok 生成 CSAM 暴露安全漏洞

#ARTICLE 奇客Solidot 2026.07.10
推荐指数 69.0 NO. 026 · 2026.07.10
发布2026/07/09

xAI 的 Grok 被用于生成 7000 张儿童性虐待图像,其安全机制仅在输入极端关键词后才触发举报。此案揭示了 AI 图像生成工具在内容安全过滤和事后执法配合上的系统性缺陷,对 AI 安全团队的产品设计有直接警示意义。

此案的关键漏洞在于 Grok 的防护是关键词触发而非语义理解——用一张照片持续生成 7000 张变体却未被拦截,说明其内容安全层没有针对图像到图像的迭代生成做行为检测。对比 Midjourney 和 DALL-E 的多层过滤架构,Grok 的安全设计明显更依赖事后举报而非事前阻断。

对 AI 工程师的直接影响是:如果你负责 AIGC 产品的风控系统,需要重新评估是否仅依赖输入层的关键词过滤。建议参考 Thorn 的 Safer 框架,在生成 pipeline 中加入图像相似度哈希比对和异常行为模式检测(短时间内同一源图像的大量生成请求)。

另外 xAI 被指控拒绝配合 NCMEC 提供用户信息,这在合规层面是个危险信号。GDPR 和 USCC 对 CSAM 的强制报告义务有明确时限,产品团队需要把执法接口的自动化响应优先级提到最高,而不是走人工审核流程。

查看原文 →