视觉模型对战人类:看图答题
推荐指数 34.0 NO. 017 · 2026.10.21
发布2026/10/20Score53Comments46
简介
Jev Cards 是一个人类与视觉大模型比拼图像识别问答的在线游戏。46 条 HN 讨论暴露了当前 VLM 在常识推理上的典型失败模式,适合快速理解模型能力边界。
编辑判断
这类轻量对抗游戏比标准 benchmark 更能暴露 VLM 的盲区——HN 评论区里模型在「识别品牌 logo 但不懂文化梗」「看出物体但猜错使用场景」的案例,恰恰是产品落地时的真实痛点。
如果你在做视觉搜索、电商识图或内容审核,建议把这类「人类觉得显然、模型容易翻车」的 case 整理成内部测试集,比刷 ImageNet 准确率更有用。
项目本身代码未开源,但玩法可直接复制到内部模型验收流程。
社区反馈
意见分歧 46 条评论
核心争论:VLM 速度碾压人类但准确率波动大,游戏评分机制与题目地域偏见引发争议
I got a lot of answers wrong (half of them maybe?), and the ones I got it right Jev was still faster.
Play some more you will get the hang of it :) The first 200 cards I did: Jev got 160 right, at a median of 261 ms , so no need to feel bad
Interesting. Jev is certainly faster but it was wrong quite a bit more than I was.