LLM Agent 运筹学能力首测基准
推荐指数 74.0 NO. 003 · 2026.10.22
Stars204创建6 天前Forks0Issues0
简介
OR-License 是首个评估 LLM Agent 作为运筹学从业者实战能力的基准测试，包含 31 个真实业务场景、交互式信息模拟器和自动评估流水线。对 AI 工程师而言，这是验证 Agent 能否替代传统 OR 顾问的标尺，也是构建垂直领域 Agent 的参考架构。
Can LLM agents do the work of an operations research practitioner, without an expert reformulating the problem first?
媒体预览
编辑判断
运筹学是 Agent 落地的高价值场景，但此前缺乏标准化评估——企业招 OR 顾问动辄年薪百万，Agent 能否替代一直没法量化验证。OR-License 的交互式信息模拟器设计很关键：它逼 Agent 像真人一样先问清业务约束再建模，而不是直接套模板写代码。
跟之前偏学术的 MIPLIB 或 NL4Opt 不同，这个基准覆盖了共享单车调度、金融回放等真实业务数据，且要求提交源码接受人工审查。做供应链、物流、金融科技方向的团队可以直接拿来当内部 Agent 的验收标准，比自己做 case study 省至少两周。
Star History
生态分析
Experimental
运筹学领域首个LLM Agent实战能力评估基准，填补垂直领域Agent评测空白。
独特价值：首创OR场景交互式评测，31个真实业务场景验证Agent替代传统顾问可行性。