ML Agent 可验证评测协议开源

AI agent 评测长期被 '自说自话' 困扰——模型自己生成答案、自己调用评分脚本，中间环节完全不可审计。Simreal 的 'externally scored' 设计把评分权收回到独立运行时，思路类似 SWE-bench 的 sandbox 隔离，但扩展到了完整的 ML 实验链路（数据处理→训练→预测→评分）。

目前开源部分只有协议和 SDK，核心引擎闭源且需邮件申请，这限制了独立验证的可能性。对比完全开放的 EleutherAI LM Evaluation Harness，Simreal 的差异化在于防作弊架构而非评测广度。如果你在做 agent 评测基础设施，它的协议设计值得借鉴；但如果需要立即跑通可复现的 benchmark，LM Harness + Docker 沙箱仍是更务实的选择。

一个潜在风险：'operated evaluation' 的商业模式意味着官方评分成为瓶颈，大规模采用时可能面临 OpenAI API 早期类似的排队和成本问题。