开源版GPT-6电脑操控代理
推荐指数 78.0 NO. 020 · 2026.10.17
upvotes264comments3
为什么值得看
OpenGCUA构建了一个完全开源的通用计算机使用代理，让模型自主选择视觉或编程接口来完成任务，打破前沿系统如GPT-6 Astra的封闭黑箱。对AI工程师而言，这是首个可系统研究、可复现的CUA全栈方案，避免了被闭源API锁定的风险。
媒体预览
编辑判断
目前业界做电脑操控的主流方案是Anthropic的Computer Use API或OpenAI的Operator，但两者都是黑盒服务，开发者无法干预模型的观察-决策-行动链路。OpenGCUA的关键设计是'harness-to-model decision transfer'，即把传统自动化工具（如Playwright、PyAutoGUI）的执行轨迹蒸馏给VLM，让模型学会何时该截图点击、何时直接调API。
这个架构的聪明之处在于分离了'感知'和'执行'：小模型负责高频视觉判断，大模型只在关键决策点介入，相比端到端方案能降低60-70%的token消耗。项目已开源核心模块，但注意当前仅支持Linux桌面环境，Windows/Mac适配还在roadmap上，做RPA替代方案的团队可以先在Ubuntu容器里验证核心逻辑。