VLA 智能体原生操控 Minecraft
推荐指数 75.0 NO. 024 · 2026.10.27
upvotes38comments2
简介
HiSTEVE 是一个分层视觉-语言-动作智能体，用原生键鼠控制在 Minecraft 中完成复杂长程任务，而非依赖环境 API 或预定义技能。对做游戏 AI 和机器人落地的团队有参考价值——它证明了 VLA 模型可以直接输出人类级操作，跳过传统 pipeline 中的技能抽象层。
媒体预览
编辑判断
之前 Minecraft AI 分两派：MineDojo 这类用高层 API 发指令，Voyager 靠代码生成调用技能库，但都不是真'用手玩'；另一边像 OpenAI 的 VPT 做原生键鼠控制，却缺乏长程规划能力。HiSTEVE 的分层架构把两者缝起来了——上层 VLM 做任务分解，下层策略网络输出键鼠动作，有点像自动驾驶的端到端+规则混合路线。
论文提到用了 8 块 A100 训练，数据来自人类玩家录屏，这个成本对大多数团队不低。但如果开源了数据 pipeline 和分层训练代码，做通用 GUI 自动化的团队可以借鉴它的跨层对齐方法，不只是游戏场景。