LLM一小时写星际争霸Bot对决
推荐指数 71.0 NO. 011 · 2026.10.17
发布2026/10/16Score153Comments71
为什么值得看
StarSkirmish 让大模型在1小时内用C++编写Protoss种族Bot，通过实战迭代优化策略，再与其他LLM及人类Bot对战排名。这是少有的测试长程推理和自主编码能力的动态基准，比静态代码生成更能暴露模型真实工程能力。
编辑判断
这个基准的巧妙之处在于引入了"迭代学习"机制——模型不是一次性写完代码就结束，而是能在1小时内打练习赛、分析失败、修改策略。这比HumanEval或SWE-bench更接近真实开发场景，因为后者测的是单次输出质量。
目前Gemini 4 Argon登顶，但OpenAI和Anthropic的模型差距不大，说明头部模型在agentic coding上的能力边界正在快速收敛。对于做AI编程工具的团队，这个测试框架本身值得借鉴：把"代码-运行-反馈-迭代"的闭环做成标准化评估，可能比静态benchmark更能说服企业客户。
如果你在做代码生成模型的选型，不要只看HumanEval分数，建议关注模型在类似动态任务中的自我纠错能力——这直接决定了它能否替代初级程序员完成完整功能开发。
社区反馈
意见分歧 71 条评论
核心争论：LLM自主编码的StarCraft Bot是真实工程能力体现，还是依赖预训练数据与规则模板的'伪智能'
They should benchmark it against Pluto. It's a artificial neutral network bot that can easily take games off the best broodwar players.
I did a live stream where Astra played Pluto. Astra went 0 - 1000 https://x.com/kaimcpheeters/status/2106782151622504911?s=20
I noticed Pluto is running on a simple CPU? If so, that's very nice for future RTS games. You just ship (or use a server-client arch) a bunch of models of various difficulty levels to let players practice. Could we even get models tuned to specific campaign levels? I wonder how costly the creation o