跳到正文

Gemini 也能在 Mac 上替你干活了:一句话交代,它在后台窗口自己点按填表

Google 11 月 19 日给 Mac 版 Gemini 加上 computer use:一句话交代任务,它在隔离的后台窗口里自己点按、输入、填表,跨本地应用、文件和网页干活,你的屏幕和光标全程空闲。目前只在美国、英语、Google AI 付费订阅开放。

小杜

约 5 分钟读完

Gemini 也能在 Mac 上替你干活了:一句话交代,它在后台窗口自己点按填表

Google 在 11 月 19 日给 Mac 版 Gemini 应用加上了 computer use(电脑操作)能力。从今天起,你可以在聊天里用一句话交代一个多步骤任务,Gemini 会自己在后台窗口里操作你的 Mac:打开本地应用、翻本地文件、上网查资料、点按菜单、输入文字、填写表单,全程不用你动手。

关键的一点是:它干活的时候,你的屏幕和光标完全是空闲的。你可以继续打字、做设计、接电话,Gemini 在一个隔离的后台窗口里工作,进度以实时预览的形式出现在聊天窗口里。

能干什么:从一句话到跨应用的多步任务

Google 在官方博客里给了四个上手例子,都是那种“本来要几十次点击”的重复活:

  • 加速创意流程:在你常用的设计软件里批量给照片调色,或者搭一个复杂的 3D 场景。官方配图的例子就很直观:用户让 Gemini 把孩子画的蝴蝶素描拿去 Blender 里建模、上材质、绑定骨骼。
  • 跳过手动填表:从本地 PDF 里提取重量、尺寸、地址,填进多格运费报价单。
  • 把实时数据变成能直接讲的幻灯片:从多个地区的实时仪表盘上抓指标和截图,汇总成一页 Google Slides。
  • 批量上架二手物品:分析本地文件夹里的衣服照片、查价格、记录商品信息,再到二手平台上把 listing 准备好。

触发方式也很直接:在提示词里加上 @Computer use,Gemini 就知道这次是动手操作。设置里的 Connectors 也多了“Desktop”一类,Blender、Autodesk Fusion 和已有的 Git、Obsidian 并排出现——操作范围伸进了你真正干活的软件。

Gemini Computer Use 工作方式

怎么用:目前只在美国、英语、付费订阅

门槛要先说清楚,免得大家白高兴一场。这次上线有四个限制:只在美国、只支持英语,正在逐步推送;需要 Apple Silicon 芯片的 Mac,系统 macOS Sequoia 15.0 或更高;需要 Google AI Plus、Pro 或 Ultra 订阅,Plus 每月 4.99 美元起,免费用户这次只能先看着;另外还要求 18 岁以上的个人 Google 账号。

这里还有个小插曲:Google 的公告写的是 Plus、Pro、Ultra 三档都能用,但有报道称 Google 的支持文档目前只列了 Pro 和 Ultra。如果你是 Plus 用户,先在自己的账号里确认 computer use 是否真的出现了,再决定要不要升级。下载入口在 gemini.google/mac。

安全怎么兜底:隔离窗口加四道闸门

让 AI 直接操作电脑,最让人放心不下的永远是安全。Google 这次给出的方案是“隔离 + 可见 + 可停 + 可批”:Gemini 在自己的后台窗口里操作,不碰你的前台屏幕和光标;哪些应用它可以进,由你来定;它在干什么,你在聊天窗口的实时预览里全程看得到;觉得不对随时可以暂停,重要的操作在执行前要你先点头。

这套说法的含金量,还得看实际用起来会不会“审批疲劳”——如果每点一下鼠标都要你确认,那省下的时间又还回去了。Google 没公布具体的审批粒度,这一点只能等更多人上手之后才有答案。

值得一提的是时间点:苹果正在准备的 macOS 27.3 据说会给索要“完全磁盘访问权限”的应用加上更明确的警告说明。最新测试版里,索要这项权限要过更明确的确认:逐项确认能读、能改、能删、能导出哪些数据,菜单栏还会显示有应用正在控制另一个应用。Google 赶在 27.3 之前上线,等于是抢在新规则落地前先把位置占住。

姗姗来迟的 Google,桌面 Agent 的战场变了

实话实说,Google 这一步来得有点晚。OpenAI、Anthropic、Meta 之前都已经在各自的桌面应用里提供了类似的 Agent 能力,Google 直到这周才把自家的 Tasks 功能更广泛地推开——顺带一提,Tasks 就是那个能替你登录网站、下单、订位的助手功能,我们之前写过(Gemini Tasks 免费开放:Google 的 AI 助手开始替你打电话、付账单)——现在又补上了 Mac 端的 computer use。

晚也有晚的好处:对手们已经帮市场把坑踩了一遍。Anthropic 的 computer use 很早就上线,教训之一就是“屏幕被抢走”的体验很糟糕;Meta 刚推出的 Mac 版 Muse 同样能操作本地应用和数据,但这几天正因为“串对话、可能泄露隐私”的报道处在风口浪尖——路透社 11 月 18 日的调查援引 Meta 员工内部反馈:Muse 把别人的银行余额、没做过的育儿请求塞进对话,还在加密聊天软件 Signal 里翻出消息提醒回复,Meta 回应称这些是个别事件。Google 这次刻意强调“后台窗口、你的屏幕空着”,明显是冲着这个痛点来的。

另一边的苹果也没闲着。据报道,苹果自己也在开发能操作设备、应用、浏览和写代码的 AI Agent,但还没正式发布。Mac 这块地盘上很快会同时站着四家:Google、Meta、Anthropic,以及苹果自己。桌面 Agent 的竞争,正式从“谁先做出来”进入“谁用起来更省心、更可信”的阶段。

小杜点评

对算法工程师来说,computer use 这类功能真正的考验从来不是“能不能点鼠标”,而是“点错了怎么办”和“值不值得你把权限交出去”。Google 这次的四道闸门方向是对的,但只有两个问题有实际意义:第一,审批粒度到底多细——太细等于没省时间,太粗等于裸奔;第二,跨应用任务的成功率到底多高——批量调色、填报价单这种活,错一步就得全部重来,比聊天答错一句代价大得多。

如果你已经是 Pro 或 Ultra、又天天在 Mac 上做重复性操作,值得第一时间试试。先从“只读整理类”的任务开始——比如从仪表盘抓数据做 Slides——这类任务错了也容易发现;涉及下单、付款、发消息的操作,等它证明了自己再放手。

一句话总结:AI 助手终于从“帮你说话”走到了“帮你动手”,而 Mac 成了下一个主战场。

参考来源

  • Google 官方博客:《Automate Mac tasks with Gemini computer use》,2026-11-19,https://blog.google/innovation-and-ai/products/gemini-app/computer-use-mac/
  • TechCrunch:《Google gives Gemini the ability to use your Mac for you》,2026-11-19,https://techcrunch.com/2026/11/19/google-gives-gemini-the-ability-to-use-your-mac-for-you/
  • 9to5Google:《Gemini app for Mac adds computer use to control desktop apps》,2026-11-19,https://9to5google.com/2026/11/19/gemini-mac-computer-use/
  • MacRumors:《Google's Gemini Can Now Control Apps on Your Mac》,2026-11-19,https://www.macrumors.com/2026/11/19/google-gemini-mac-app-control/
  • PYMNTS:《Google's Gemini App Can Now Operate Apple Desktop Computers》,2026-11-19,https://www.pymnts.com/news/artificial-intelligence/2026/googles-gemini-app-can-now-operate-apple-desktop-computers/
  • 路透社:《As Meta bets big on Muse AI agent, early safety mishaps surface》,2026-11-18,https://www.reuters.com/investigations/meta-bets-big-muse-ai-agent-early-safety-mishaps-surface-2026-11-18/
  • 9to5Mac:《Report: Apple job listings detail plans for autonomous AI agents》,2026-11-19,https://9to5mac.com/2026/11/19/report-apple-job-listings-detail-plans-for-autonomous-ai-agents/
  • Cult of Mac:《macOS 27.3 gives users more say over what AI agents can access》,https://www.cultofmac.com/news/macos-27-3-gives-you-more-say-ai-agents-access

评论

正在确认登录状态…