阿里开源跨平台GUI智能体
推荐指数 79.0 NO. 018 · 2026.08.01
upvotes256comments3
为什么值得看
Qwen-UI-Agent是阿里推出的统一GUI代理框架，覆盖手机、电脑、网页和深度搜索场景，支持真实设备运行和CLI混合操作。对做自动化工作流、RPA替代或端侧Agent的工程师来说，这是首个大规模开源的真实设备级解决方案，可直接接入现有数字设备。
媒体预览
编辑判断
当前GUI Agent赛道分两条线：Claude Computer Use和OpenAI Operator走云端虚拟环境路线，Qwen-UI-Agent选择直接操作真实手机设备，这解决了虚拟环境与真实UI差异导致的泛化失效问题，但也意味着部署成本更高、需要物理设备池支撑。
其统一action space覆盖点击、滑动、键盘输入和CLI命令，比Anthropic的computer-use-beta工具集更完整，特别是CLI混合能力让复杂工作流（如先截图OCR再curl调API）不需要多Agent协作。
最该关注的是其DeepSearch环境的设计——把GUI操作和网页深度搜索打通，这直接对标Perplexity的Copilot模式。做企业级自动化或想替代现有RPA（UiPath/影刀）的团队，建议优先测试其长程任务（论文提到30+步骤）的稳定性。
相关内容