视觉规划加速：一次前向传播画完整条轨迹
推荐指数 74.0 NO. 028 · 2026.11.07
upvotes88comments0
简介
VFlash 让视觉语言模型一次性生成完整的视觉基元（点、框、轨迹），而非逐坐标 token 自回归生成。对机器人、自动驾驶等需要实时空间推理的物理 AI 场景，延迟瓶颈有望大幅缓解。
媒体预览
编辑判断
当前主流做法如 GPT-4V、Qwen-VL 生成视觉规划时都是逐坐标 token 输出，画一条 20 点的轨迹就要 40+ 个 token 的串行推理，延迟随精度要求线性膨胀。VFlash 的 Flash Primitive Decoding 本质是把投机解码的思想适配到结构化视觉输出上，用轻量 drafter 一次性押注整个基元，再由主模型验证修正，这和 Medusa、Lookahead 等文本投机解码方案是平行思路但针对视觉结构做了专门优化。
论文提到 drafter 参数量不到主模型的 5%，在 nuScenes 轨迹预测和 COCO 目标定位上加速 2-4 倍且精度无损。如果开源代码质量过关，这是目前少数能把 VLM 的 visual grounding 延迟压到实时阈值内的方案，做机器人操作、端到端自动驾驶的团队应该优先跟进。