首个LLM数据准备端到端评测基准

数据准备长期是'暗箱作业'，团队各自为战——有人用 GPT-4 打标再用 MinHash 去重，有人直接上 Deduplicate Text Datasets 工具链，但没人能说清哪套流程真的提升了下游模型能力。这个基准把'数据构建'和'质量预判'拆开测，相当于给数据工程师发了张成绩单。

值得注意的是它用 downstream-grounded 协议，即最终看模型训练效果而非 BLEU 或 ROUGE 这种表面指标，这和当前主流的 DataComp 思路一致但更细粒度。论文提到会开源，如果 benchmark 套件完整可用，可能会成为继 LMSYS Chatbot Arena 之后又一个社区基础设施。

如果你团队正在做预训练或 post-training 的数据管线，建议等开源后拿自己的流程跑一遍，特别是数据质量预判模块——很多团队花了大量算力训完才发现数据有问题，这个环节如果能提前筛选，ROI 会很明显。