购物Agent的长程交互基准测试
推荐指数 68.0 NO. 026 · 2026.10.27
upvotes47comments1
简介
UserArena推出首个支持长程购物轨迹的交互式基准测试，包含真实用户行为数据和A/B测试验证框架。对做推荐系统或电商Agent的团队来说，终于有能离线验证长序列决策效果的工具了。
媒体预览
编辑判断
之前做购物Agent的团队要么用静态数据集离线评估，要么直接上A/B测试成本高，UserArena的On-Policy Trajectory Distillation相当于用真实用户轨迹蒸馏出一个高保真模拟器，让Agent在'虚拟用户'上跑通再上线。
这个方法借鉴了强化学习的world model思路，但针对推荐场景做了适配，关键指标是跟真实A/B测试的correlation。论文提到模拟器和线上结果的Pearson r达到0.89，这在同类工作中算很高的。
代码和数据集未明确说是否开源，如果开源的话，做电商Agent、对话式导购的团队可以直接拿来当标准测试床；没开源的话方法本身也值得复现，蒸馏思路可以迁移到其他交互场景。