210M小模型干翻600M,网页清洗成本砍95%
推荐指数 77.0 NO. 011 · 2026.07.07
发布2026/07/06Score55Comments10
为什么值得看
Pulpie 发布系列编码器模型,单次前向传播标记 HTML 内容/噪音块,在 WebMainBench 上 ROUGE-5 F1 达 0.862 逼近 SOTA。10 亿页清洗成本从约 16 万美元压到 7900 美元,速度提升 20 倍,对爬虫基础设施和 RAG 数据管线是硬成本重构。
编辑判断
网页清洗这个脏活累活,之前大家要么用 rule-based 的 readability-lxml、trafilatura,要么上昂贵的 LLM 做抽取。Pulpie 的取巧在于把问题重新定义为 token 级别的二分类,而不是生成式抽取,这让它能用小 encoder 硬刚大模型的精度。
做爬虫平台和 RAG 管道的团队可以重点关注。10 亿页 7900 美元意味着清洗成本从"要不要做"变成了"忽略不计",这可能会改变很多产品的经济模型——比如实时全网 RAG、监控竞品动态这些之前成本过高的场景现在可以跑通了。
一个风险点:HTML 结构本身在变化,Pulpie 对现代 SPA、Shadow DOM 的兼容性需要实测验证,encoder 的上下文窗口也可能成为长页面的瓶颈。
社区反馈
正面 10 条评论
核心争论:专用编码器模型能否替代传统规则/启发式方案实现网页清洗
Very nice! Thank you for building this.
It's good looking, and I liked it. The trial page accessed from the hugging face website is a very inefficient experience when I use Mozilla and the dark theme, FYI.
Fixed. Try again. Let me know if any other issues