Vercel 开源 AI 操控桌面工具
推荐指数 70.0 NO. 005 · 2026.11.03
Stars9,603
简介
agent-desktop 是一个跨平台 CLI 和 C 库,让 AI 代理通过 OS 无障碍树直接读写和操作桌面应用,无需像素匹配。对构建需要与现有 GUI 软件交互的自动化代理(如自动填表、跨应用工作流)的开发者来说,这是比传统 RPA 或纯视觉方案更可靠的基础设施。
Computer use CLI for AI agents
编辑判断
之前做 AI 操控桌面的团队大多依赖视觉方案(如 Anthropic 的 Computer Use 或 Screenshots + GPT-4V),痛点是分辨率敏感、容易点错、API 成本高。这个工具走 OS 无障碍树路线,直接拿到结构化元素引用,定位精度从像素级变成 DOM 级,且循环完全留在代理侧不依赖外部服务。
和微软的 Playwright 或 Apple 的 AX API 相比,它的优势是统一了三大平台的接口,且用 Rust 写成每个 CLI 调用独立进程,隔离性更好。做企业自动化、AI 客服需要操作 legacy 软件、或者做「AI 员工」产品的团队,这几乎是目前最干净的底层选型。
需要注意的安全点:它默认会抓取剪贴板、屏幕描述等敏感信息,生产环境部署时必须自己搭审查网关,不能直接接第三方模型 API。
Star History
生态分析
Beta
AI 代理桌面自动化的跨平台基础设施层,连接 LLM 与 OS 无障碍 API
独特价值:以 Rust+C 库提供跨平台可靠调用,星数领先同赛道两个数量级
竞品:
paperfoot/super-computer-use 强调低延迟与语义定位,尚未形成社区认可