跨平台GUI智能体持续学习新方案
推荐指数 73.0 NO. 019 · 2026.07.08
upvotes62comments1
为什么值得看
UI-MOPD提出多教师在线策略蒸馏方法,配合Uni-GUI数据集解决跨平台GUI代理训练数据稀缺和平台能力退化问题。对做多端自动化(Web+Android+桌面)的团队,这是首个系统性解决持续学习灾难性遗忘的蒸馏框架。
媒体预览
编辑判断
当前跨平台GUI agent的主流做法是给每个平台单独训练模型或硬拼接数据,但Android的点击坐标和Web的DOM操作在表示空间差异极大,简单混合训练会导致模型在某一平台性能断崖下跌。UI-MOPD的关键设计是让多个平台教师模型同时给统一学生模型喂在线生成的轨迹,而不是用静态离线数据,这样蒸馏信号能动态适应学生当前的能力边界。
从工程落地看,这个框架的瓶颈在于需要维护多个平台教师模型的在线推理,算力成本不低。但如果你的场景是2-3个固定平台且已有基础模型,用这套方法做持续迭代的性价比会高于反复从头训练。论文提到会开源Uni-GUI数据集,这比方法本身更有 immediate 价值——高质量可执行跨平台轨迹目前仍是行业稀缺资源。
相关内容
UI-MOPD: Multi-Platform On-Policy Distillation for Continual GUI Agent Learning 提出多平台在线策略蒸馏方法,解决GUI智能体跨平台持续学习问题,属于同领域最新技术方案。 MAGNET | 双层记忆让GUI智能体持续适应环境变化 复旦大学团队提出双层记忆架构,应对外观漂移和工作流漂移,实现GUI智能体持续适应。 GUI智能体如何应对环境变化?——首个GUI持续学习框架GUI-AiF详解 首个GUI持续学习框架GUI-AiF,通过创新奖励机制使智能体在动态GUI环境中保持稳定性能。 Continual GUI Agents 早期基础性工作,提出持续GUI智能体概念框架,为后续研究奠定理论基础。