AMAZINGINDEX.COM 日报快照
59.9
VOL. 2026.05
2026.05.16
← 返回 2026.05.16 日报
日报快照 · Daily Snapshot
NO. 016

古腾堡计划:免费电子书库持续扩容

#ARTICLE HackerNews 2026.05.16
推荐指数 58.0 NO. 016 · 2026.05.16
发布2026/05/15Score377Comments116

Project Gutenberg 作为历史最悠久的数字图书馆,持续收录超过7万本公版电子书。对 AI 从业者而言,这是训练小模型、构建 RAG 知识库的高质量免费语料源,规避版权风险。

古腾堡计划:免费电子书库持续扩容

做中文 RAG 的团队常苦于高质量长文本语料不足,而英文场景下古腾堡是被严重低估的冷启动数据源。相比 Common Crawl 的噪声,这里经过人工校对的经典文学作品结构清晰、语义密度高,特别适合做长上下文窗口的召回测试和 few-shot 示例构造。如果你正在调试 128K 以上 context 的模型,可以用这里的完整小说章节做压力测试,比自行清洗网页数据省至少 80% 的预处理时间。

正面 120 条评论

核心争论:社区共识:古腾堡是珍贵资源,核心议题是如何合规批量获取数据而非爬取网站

JSeiko

Hi! I'm one of the programmers at Gutenberg. We've been improving the site a lot over the past few months (and more is coming!). If you haven't visited the page recently, it's worth checking out again: https://www.gutenberg.org/

Falimonda

The book list elements on front page render as both horizontally and vertically scrollable divs on mobile - seems like an opportunity for improvement. Keep up the good work!

JSeiko

good feedback thanks! Doing an iteration on the homepage design is actually pretty high on the priority list. will keep your feedback in mind!

查看原文 →