跳到正文

GitHub Copilot 能直接操作桌面软件了:Universe 发布 Computer Use 和 Projects,附上手与避坑指南

GitHub Universe 2026 上,Copilot app 在 macOS 和 Windows 公开预览 Computer Use,可读取并操作没有 API 的桌面应用;新推出的 Copilot Projects 能跨仓库调度多个 Agent。本文梳理权限控制、VS Code 侧的云端会话接力、Agent Host 等更新,以及开发者上手建议。

小杜

约 6 分钟读完更新于

GitHub Copilot 能直接操作桌面软件了:Universe 发布 Computer Use 和 Projects,附上手与避坑指南

导语

10 月 28 日的 GitHub Universe 上,GitHub 给 Copilot 一口气发了一批更新。和日常开发关系最大的有两项:一是 Computer Use(电脑操作),在 macOS 和 Windows 上以公开预览的形式上线 GitHub Copilot app,Copilot 可以读取桌面应用里的内容、点按钮、填写文字,在多个应用之间切换完成任务,连没有 API、命令行或 MCP 集成的软件也能操作;二是 Copilot Projects,把跨多个仓库、带着设计稿和 Slack 讨论的“一整件事”交给 Copilot,由它按需调度多个 Agent,最后把 PR 之类的结果交回给你审核。

为什么值得关注?过去 Copilot 的能力边界基本停在“代码 + 终端”。这次 GitHub 明显在把它往“能帮你处理代码周边杂活的通用 Agent”方向推:能操作 GUI,能跨仓库协作,还能在云端、手机、编辑器之间接着跑同一个会话。下面把官方公布的要点和上手方式捋一遍。

背景:Computer Use 不是第一次出现,这次是“进了主力客户端”

其实早在 10 月 1 日,GitHub 就在 changelog 里宣布过 Computer Use 在 Copilot CLI 和 Copilot app 上进入公开预览,用 /computer on 开启、/computer show 查看状态、/computer off 关闭。

Universe 这次的变化在于:它被正式写进了 Copilot app 的 Universe 发布说明,和 Projects 一起作为主打功能;同时 VS Code 里的 Copilot 也能用了(标注为实验功能)。三个客户端共用一套配置,在 macOS 上系统权限只需要授权一次。

GitHub Copilot in VS Code 的 Universe 发布官方配图

要点一:Computer Use 能做什么、怎么管住它

按 GitHub 官方文档,开启后 Copilot 可以:

  • 通过系统的**无障碍树(accessibility tree)**读取应用内容,需要视觉上下文时再截图;
  • 点击控件、输入和修改文字、按键、滚动、拖拽;
  • 跨多个应用串起一个工作流,比如官方举的报销单例子。

权限控制上有几个细节值得记住:

  • 默认关闭,必须手动开启。Copilot app 里在 Settings > Computer Use 打开 Enable Computer Use;macOS 还要授予“辅助功能”和“屏幕录制”两项权限。
  • 每次控制一个新应用前都会请求你批准,可以选仅本次、保存为以后都允许,或者拒绝。
  • 选了“Always allow”的应用会保存在本机,CLI 和 app 共用,可以在 app 里查看和移除;移除不会收回正在运行的会话里已经给出的权限。
  • 拒绝规则优先于自动或已保存的批准;企业管理员可以通过托管设置直接禁用,本地开启也绕不过去。
  • 出现意外操作时,Copilot app 里点 Stop 或按 Esc,CLI 里按两次 Esc 就能打断。

官方也把风险写得很直白:界面随版本和窗口状态变化,Agent 可能点错控件、把字输错地方、重复执行某个动作;屏幕上意外出现的内容也可能诱导它做出非预期操作。文档还专门提醒,能用 API、MCP、命令行或文件工具完成的任务,优先用这些更结构化的方式,Computer Use 是兜底方案。

要点二:Projects 和 VS Code 这边的更新

Copilot Projects(公开预览):建一个项目,写清目标,再把需要的上下文加进来,比如多个仓库、设计稿、Slack 讨论串、会议记录,并选择要用的模型和工具。Copilot 会按工作量运行多个 Agent,在后台协调,需要你拍板时再找你。项目还支持自动化,官方的例子是“每次有新功能上线就自动做一条宣传视频”。单仓库的小任务照样可以直接从仓库发起会话。

VS Code 里的 Copilot 这次也更新了不少,挑几项和 Agent 工作流关系大的:

  • 云端会话接力:在 VS Code 的 Agents 窗口发起云端 Agent 会话,任务跑在 GitHub 的基础设施上,合上电脑也不会停;同一个会话可以在 VS Code、Copilot app、GitHub Mobile、github.com 和 Copilot CLI 之间接着用。
  • Agent Host:会话和具体的 VS Code 窗口解耦,关掉窗口也能在后台继续;还能借助 Remote SSH 和 dev tunnels 把 Agent 跑在另一台机器上。
  • 手机遥控本机 Agent:在开发机上运行 code agent host --github-environment,就能用 GitHub Mobile 查看进度、下达指令。
  • 多模型对比(预览):在 Agents 窗口并行跑多个模型和 harness,让一个 Judge 模型推荐方案,或者用 Synthesize 合并各家思路。
  • 开放的 Agent Host Protocol(AHP):提供 TypeScript、Rust、Go、Kotlin、Swift 的客户端库,可以自己写客户端接入同一个会话。
  • Copilot connectors(预览,所有 Copilot 套餐可用):不用自己装 MCP 服务器,就能把 Slack、Notion、Microsoft Learn 等服务的上下文带进 Agent 会话。

对开发者意味着什么

我觉得有三层意思。

第一,“没有 API 的软件”终于有了自动化入口。公司里那些老旧的内部系统、只有 GUI 的报表工具、各种审批流程,以前要么手点,要么写脆弱的 RPA 脚本。现在可以用自然语言描述目标,让 Agent 去点。

第二,Agent 的工作单位在变大。从“补全一行代码”到“完成一个会话”,再到 Projects 里的“完成一件跨仓库的事”,人更多是在定目标、给上下文、审结果。

第三,安全边界要重新想。一个能看你屏幕、替你点按钮的 Agent,权限其实比读写代码仓库大得多。“Always allow”很方便,但官方自己都建议不要对含敏感信息或能做高影响操作的应用这么设。

实操建议

  1. 先在低风险场景试:比如整理浏览器里的通知、更新一份演示文稿,这些也是官方文档里举的例子。别一上来就让它碰财务系统或生产后台。
  2. 提示词写“结果 + 涉及的应用 + 约束”:官方说 Computer Use 在你描述清楚想要的结果、涉及哪些应用和重要约束时效果最好。
  3. 慎用 Always allow:对邮件、IM、网银这类应用,宁可每次手动批准。
  4. 团队先定策略:管理员可以用托管设置统一禁用 Computer Use,或者用策略管控插件和 marketplace,建议在大规模推广前想清楚。
  5. 能结构化就别用 GUI:有 API 或 MCP 的服务,优先走 connectors 或 MCP,结果更稳定、更好复现。

小杜点评

从算法工程师的角度看,Computer Use 的难点从来不在“能不能点”,而在长链路里的鲁棒性:界面元素一变、弹窗一出、网络一卡,误差就会沿着步骤累积。GitHub 选择优先走无障碍树、需要时才截图,这条路比纯视觉方案更省 token,也更稳,但遇到自绘控件多的应用依然会吃力,官方文档里也承认了这一点。

我更看好的其实是 Projects 加上 Agent Host 这一套:会话可以脱离某台电脑、某个窗口存在,人只负责在关键节点拍板。这其实就是把“多 Agent 编排”产品化了。等它成熟以后,评估一个编程 Agent 的指标可能会从“单题通过率”变成“一件事要人介入几次”。

现在都是预览版,官方也没公布哪些套餐能用、会不会额外消耗 premium requests,正式上生产之前建议先在自己的工作流里小范围跑一跑。你最想让 Copilot 替你点掉哪个烦人的桌面软件?欢迎评论区聊聊。

参考来源

  • GitHub Changelog:GitHub Copilot app, Universe releases(2026-10-28):https://github.blog/changelog/2026-10-28-github-copilot-app-universe-releases/
  • GitHub Changelog:GitHub Copilot in VS Code, Universe releases(2026-10-28):https://github.blog/changelog/2026-10-28-github-copilot-in-vs-code-universe-releases/
  • GitHub Changelog:GitHub Copilot can now interact with desktop apps with computer use(2026-10-01):https://github.blog/changelog/2026-10-01-github-copilot-can-now-interact-with-desktop-apps/
  • GitHub Docs:About computer use in GitHub Copilot:https://docs.github.com/en/copilot/concepts/agents/computer-use
  • GitHub Docs:Using the GitHub Copilot app to interact with desktop applications:https://docs.github.com/en/copilot/how-tos/github-copilot-app/computer-use

评论

正在确认登录状态…