RLVR突破开放任务自验证瓶颈

当前业界做开放任务RLHF基本逃不开GPT-4当裁判或训练专用RM，成本和偏见都是硬伤。这篇的核心 trick 是把开放任务改写成自带答案的"预文本任务"——类似SSL里预测被mask的token，让模型输出本身就能构成验证信号。

在GSM8K和代码生成上做了验证，但关键看能不能scale到真正开放的创作/对话任务。HuggingFace上已有讨论热度，代码如果开源，做Agent自我进化方向的团队可以优先跟进，这比蒸馏o1的路线更轻量。