HF推概念级预测，预训练效率翻倍
推荐指数 77.0 NO. 022 · 2026.09.12
upvotes157comments1
为什么值得看
NCP-ArchPreview 在标准 next-token 预测之外，新增 next-concept 预测目标，让模型学习跨多 token 的离散概念。对预训练成本敏感、想突破 scaling law 瓶颈的团队值得跟踪。
媒体预览
编辑判断
当前主流的多 token 预测方法（如 Meta 的 MTP、DeepSeek 的 multi-token）都是在 token 层面并行预测，本质还是细粒度建模。NCP 的关键区别在于用 product quantization 把连续语义压缩成离散概念码本，这让概念层损失能直接监督中间表示学习，而非仅靠端到端梯度回传。
从工程角度看，PQ 码本的构建质量会是成败关键——概念粒度太粗则信息损失大，太细则退化成 token 级。论文提到 jointly train，但 NTP 和 NCP 的损失权重如何平衡、概念码本是否需要定期更新，这些细节还没公开。
HuggingFace 亲自下场做预训练架构探索，信号意义大于论文本身。如果后续开源训练代码和概念码本构建工具，可能会催生一波基于离散潜空间的 LM 变体，类似当年 VQ-VAE 带动图像生成那样。