开源模型评分骤降引争议
推荐指数 45.0 NO. 027 · 2026.10.29
score3comments0
简介
AI 模型评测平台 Artificial Analysis 发布 v5 版本 Intelligence Index，将开源与闭源模型差距从 3 分拉大至 12 分。但 60% 评测基于私有测试集无法复现，社区已出现质疑声音。
编辑判断
评测机构用私有测试集做排名是行业老问题，Artificial Analysis 这次把比例提到 60% 已经触及可信度红线。社区有人贴出反例 GPT-Terra-6.1 > Fable-5.1 与排名矛盾，说明其内部权重分配可能过度惩罚了开源模型的特定短板。
对做模型选型的团队来说，这意味着不能单看一个榜单定生死。建议把 LMSYS Chatbot Arena 的众包对战结果、自己的业务场景评测、以及这个 Index 的公开 40% 部分交叉验证，尤其要警惕"未发布权重"的 Kimi K3.1 Pro 被放在开源榜顶这种模糊操作。
如果 Artificial Analysis 不尽快公开更多评测细节，其 Index 在开发者社区的话语权会被 Arena 和开源 eval 套件蚕食。