LLM调解员评测基准，SOTA仅解决1/3冲突
值得看指数 61.0 NO. 020 · 2026.06.09
upvotes42comments2
为什么值得看
SoCRATES构建了一个跨领域、考虑社会认知差异的主动式LLM调解评测基准，覆盖情绪、意图等动态变化的真实调解场景。对AI工程师而言，这是目前少有的能系统评估对话式AI在复杂人际交互中表现的工具，直接关联客服、谈判、心理咨询等落地场景。
媒体预览
编辑判断
这个基准的隐性价值在于暴露了当前LLM在'主动引导'而非'被动响应'场景下的能力断层。之前大家测对话模型主要看回复质量，但调解需要的是实时策略调整——何时插话、何时沉默、如何根据双方情绪升温降温。SoCRATES把这类行为量化成了可比较的指标。
论文提到顶级模型只能弥合约33%的共识差距，这个数字比预期低很多，说明现有RLHF训练范式在需要长期策略规划的多轮交互中存在明显短板。如果你在做客服机器人、销售助手或任何需要'推进对话向目标发展'的产品，这个基准的评测维度值得直接借鉴，而不是自己拍脑袋设计评估标准。
目前代码和数据集是否完整开源尚不明确，建议优先关注其GitHub仓库的释放情况，以及是否有团队基于这个基准做模型微调的开源跟进。