HN 热帖引 AI 爬虫围攻
推荐指数 53.0 NO. 011 · 2026.10.14
发布2026/10/13Score206Comments132
为什么值得看
开发者发布 RSS 工具到 HackerNews 后，真实用户流量之外遭遇大量 AI 爬虫集中爬取，导致网站严重卡顿。这暴露了当前 AI 训练数据采集中爬虫行为失控、缺乏节制的问题，对独立开发者和中小站点构成直接运维威胁。
编辑判断
这件事的吊诡之处在于：作者做的恰恰是帮用户过滤 LLM 噪音的工具，结果却被 LLM 公司的爬虫当成了优质训练数据。目前主流爬虫如 GPTBot、ClaudeBot、PerplexityBot 都声称遵守 robots.txt，但实际并发控制和请求频率往往远超合理范围，且很多新兴 AI 搜索引擎的爬虫根本不在常见黑名单里。
独立开发者现在需要把 AI 爬虫当作一类独立的 DDoS 威胁来防御，而不是普通用户流量。建议立刻检查：Cloudflare 的 AI Crawler 规则集、nginx 层按 User-Agent 限流、以及是否需要主动屏蔽未声明用途的爬虫。更根本的问题是，你的内容被爬去训练模型后，不会带来任何回流流量，这是纯负外部性。
社区反馈
意见分歧 117 条评论
核心争论：AI爬虫是否真构成威胁，还是作者服务器配置/技术能力问题
It's too late to comment on your older posts, but I'd just like to say: it's nice to see someone making oldschool web browsers work properly on the modern web. https://www.sammystraus.com/#using-llms-to-make-the-emacs-we...
:) ive been dreaming of a usable emacs browser for so long
I _also_ posted to HN and made it to #1[0]; the effect this had on my CPU/network traffic on a 5/EUR month VPS over at Hetzner was in the single digit percentages. As per the wiki page for the C10k problem[1] where it says "_was_ [emphasis mine] the problem of optimizing computer networkin