AI基准测试覆盖不到90%实际工作
推荐指数 68.0 NO. 012 · 2026.10.17
发布2026/10/16Score265Comments232
为什么值得看
研究人员构建了首个AI基准测试与美国923种职业任务的对照图谱，发现绝大多数经济价值高的工作缺乏有效评测。这为评估AI真实落地能力提供了新工具，也暴露了当前benchmark与产业需求之间的巨大脱节。
编辑判断
这个项目的真正价值不在结论本身，而在于它把'AI能做什么'的争论从实验室拉到了职场。之前大家争论MMLU、SWE-bench谁更权威，现在发现这些测试加起来只覆盖了不到10%的付薪工时。
对做AI产品的人来说，这意味着巨大的蓝海：法律合规、现场维修、客户关系这些高价值场景几乎没有标准化评测，谁先建立benchmark谁就掌握定义'好用'的话语权。对模型公司来说，这也解释了为什么企业采购转化率低——你的模型在榜单上再强，采购方也找不到对应其业务的信任凭证。
建议关注这个项目后续是否会开放数据API，如果能实时追踪新benchmark对职业覆盖率的提升，会成为AI投资和产品路线的重要参考指标。
社区反馈
负面 184 条评论
核心争论：AI能否替代高价值工作，还是低估了人际协调与组织摩擦的复杂性
A lot of what humans do does not have a tight feedback loop needed for training and agentic workflows. This is why we are not seeing the jobpocolypse and productivity gains look a lot more like the very long-term 2% per year.
We're on a forum filled with a lot of software engineers, and we might be too ready to believe this is coming for everyone's job, not only generating code.
Lest we forget that late-training is now 2/3 coding tasks because it is the main area where there is ROI for users, such that we can find a mutually beneficial arrangement to pay off their massive investments and debt, maybe, tbd - open weights may wreck their financial projections