8月18日消息，字节跳动旗下 AI 助手豆包发布产品更新，「工作任务」模式新增「豆包虚拟桌面」能力，可在虚拟环境中直接操作 Windows 电脑，完成应用操作、网页浏览与跨软件任务。该能力基于通用图形界面（GUI）识别，全程无需 MCP、API、插件或 CLI 接口。

过去 AI 要操作电脑软件，通常需要开发者预先写好 API 接口、插件或 MCP 协议，相当于给 AI 配一把「专用钥匙」，只能开特定的门。豆包虚拟桌面走的是另一条路——模型直接「看懂」屏幕，像人一样查看界面、移动鼠标、点击按钮、敲击键盘，不依赖任何软件厂商开放接口。

虚拟桌面：AI 像人一样「看屏、动鼠、敲键盘」

豆包虚拟桌面基于更通用的 GUI 操作能力，在没有 MCP、API、插件和 CLI 的情况下，模型也能识别软件界面，并通过模拟屏幕查看、鼠标及键盘操作推进任务。用户只需在豆包电脑端选择「工作任务」模式和「本地电脑」，在技能栏中选择「操作电脑」，输入任务指令后，豆包虚拟桌面即可根据需求操作电脑界面，继续执行复杂任务。

不抢鼠标不打断：与用户同机并行办公

与直接接管用户电脑不同，豆包虚拟桌面运行在独立虚拟环境中，不会抢占用户正在使用的鼠标和键盘，也不会打断当前工作。任务执行过程中，用户可以实时查看豆包的操作过程，并根据需要随时暂停或接管。这意味着用户可以一边自己干活，一边让 AI 在「另一个桌面」里帮忙，互不干扰。

实际场景中，豆包虚拟桌面已能完成跨软件任务。例如在简历录入场景中，它可以自动操作本地桌面文件夹和候选人登记系统，识别界面内容后，将文件夹中的简历逐条录入系统——那些原本需要人工逐条复制粘贴的重复性劳动，AI 可以自己跑完。

图：豆包智能助手产品界面

从「专用钥匙」到「自己开门」

对比来看，腾讯 WorkBuddy、阿里千问办公等竞品目前仍依赖 API 调用或插件体系实现电脑操作，豆包虚拟桌面则走了一条完全不同的路线。GUI 操作方式能够覆盖更多没有专门接口的软件和网页，使 AI 可以通过接近人类操作电脑的方式完成跨应用任务，把 AI 操作电脑的门槛从「开发者专属」降为「普通用户可用」。有观点认为，谁先让 AI 像人一样用电脑，谁就可能成为下一代 AI 办公的入口。

迭代节奏与行业背景

此次更新已是豆包团队两日内第二次重要动作：8月17日，豆包宣布「工作任务」模式支持手机远程控制电脑，协助用户在通勤、离开工位等场景下办公；8月18日，虚拟桌面能力随即上线。此前，豆包专业版于6月24日上线，接入豆包 2.1 Pro 模型的办公任务模式，支持操作本地电脑、使用浏览器、调用 Skills 技能和定时任务等能力。据行业数据，内地 AI 办公桌面端月活已突破 3000 万，AI 办公赛道正从「概念验证」走向「规模化落地」。

使用方式

目前该功能需要用户在豆包官网下载最新版 Windows「豆包电脑版」，进入「工作任务」模式后按系统提示完成授权和初始化；用户也可以直接通过「操作电脑」技能发起任务，在豆包指引下完成版本更新后使用。

豆包虚拟桌面的上线，让 Agent 能力从「调用工具」进一步向「直接操作图形界面」延伸。AI 不再需要等待软件厂商开放接口，而是自己学会「使用工具的工具」，AI 办公入口的竞争也随之进入新阶段。