视频自动生成GUI交互数据训练Agent
推荐指数 73.0 NO. 023 · 2026.05.22
upvotes85comments2
为什么值得看
Video2GUI通过合成视频生成大规模GUI交互轨迹，解决GUI Agent训练数据稀缺问题。对做多模态Agent和自动化测试的团队，这是降低数据成本的关键路径。
媒体预览
编辑判断
GUI Agent最大的瓶颈不是模型能力，而是高质量交互数据的获取成本——人工标注一条轨迹要几十分钟，规模化几乎不可能。这篇论文的解法是从无标注视频反推交互动作，本质是用视觉理解能力绕过人工标注环节。
目前尚不清楚合成数据与真实用户行为的分布差异有多大，但方法本身比AppAgent、SeeClick等依赖人工演示的路线更具扩展性。如果代码开源且合成成本可控，可能会成为GUI Agent领域的标准数据管线。
建议关注其动作空间的设计细节（是否支持跨平台）以及是否释放了合成数据集，这对判断工程可用性至关重要。