轻量插件解决GUI智能体注意力漂移
推荐指数 68.0 NO. 025 · 2026.10.22
upvotes205comments2
简介
FocusGUI 是一个轻量级适配器，能动态筛选与当前步骤相关的多模态证据（截图、音频、视频等），避免无关上下文导致动作错误累积。无需微调主干模型即可提升 GUI 智能体的动作准确率，对构建稳定可靠的端侧自动化 agent 有直接价值。
媒体预览
编辑判断
GUI agent 领域目前的主流做法是 SeeAct、CogAgent 这类把完整截图+历史动作全喂给模型的方案，但大家都被"历史记录越长、动作越离谱"的问题折磨过，只是没人系统性地定义为 Sequential Distraction。
这篇的核心 trick 是训练一个轻量 selector 动态决定哪些模态该进上下文，而不是靠模型自己硬扛噪声。205 upvotes 但仅 2 条评论，说明社区认可问题但解法还没被充分讨论。
如果做端侧自动化（比如手机 RPA、游戏 bot、测试工具），这个方向比堆更大视觉模型更务实，建议蹲一下代码开源和实际 latency 数据。