CUA 模式
使用 CUA 补足接口和浏览器自动化无法覆盖的桌面流程，并与 Work 配合完成跨应用任务。
更新于
本页目录
CUA（计算机使用代理）通过屏幕理解当前界面，并执行打开应用、点击、滚动、输入、按键和等待等动作。它重点补足没有稳定 API（应用程序接口）、无法直接接入工具，或必须通过桌面客户端界面完成的“最后一段”操作。
CUA 补足什么
有稳定 API 时优先使用 API；任务只发生在浏览器页面中时，可以优先使用 Playwright（浏览器自动化工具）等网页自动化方式。以下情况更适合 CUA：
- 目标是飞书、企业微信、钉钉等已经登录的桌面通信软件，而不是浏览器页面；
- 需要操作系统文件选择器、桌面弹窗或其他原生界面；
- 任务需要在文件管理器、办公软件、浏览器和通信软件之间切换；
- 系统没有开放接口，或者现有接口无法完成上传、发送等界面步骤。
| 方式 | 更适合 | 主要限制 |
|---|---|---|
| API（应用程序接口） | 稳定、结构化、可批量调用的系统能力 | 目标系统必须开放并授权对应接口 |
| Playwright（浏览器自动化工具） | 浏览器网页中的表单、点击和页面流程 | 不能直接操作桌面客户端及其原生窗口 |
| CUA（计算机使用代理） | 桌面应用、跨应用流程和无接口界面 | 依赖可见界面，稳定性受窗口、权限和界面变化影响 |
CUA 不会绕过应用限制，也不代替用户完成登录、验证码、账号选择或第三方授权。目标客户端版本、当前登录状态、系统权限和企业策略都会影响实际可用性。
什么时候使用
适合：
- 打开指定应用并导航到某个页面；
- 在已登录的通信软件中定位联系人或群聊，填写消息并上传指定文件；
- 从多个界面收集非敏感信息；
- 执行规则清晰、可观察、可中止的重复流程；
- 在内部系统中完成只读查询或准备待提交内容。
以下任务不要交给 CUA 完全自动执行：
- 付款、转账、采购下单；
- 删除、发布、群发和最终提交；
- 处理验证码、系统口令或私钥；
- 依赖像素位置且界面频繁变化的大规模无人值守流程；
- 不允许自动化操作的系统。
在通信软件中发送消息和文件
CUA 可以像用户一样打开已登录的通信软件、进入指定会话、填写消息、调用文件选择器并上传文件。这类桌面交付通常没有可直接调用的 API，Playwright 也无法直接控制桌面客户端，因此是 CUA 的重点场景。
任务中应明确联系人、消息内容、文件名、允许发送的范围和异常处理方式：
打开已经登录的飞书客户端，进入“青川”的聊天窗口。
上传项目目录中的“AI技术前沿洞察.pptx”，核对联系人和文件名后发送。
不要进入其他会话，不要上传目录中的其他文件。
如果出现登录、账号选择、权限请求或联系人重名，暂停让我处理。
发送给外部联系人、群聊或包含敏感信息时，应把最终发送设置为人工确认点。发送完成后回到真实会话中检查消息、文件名和发送状态，不要只依据 CUA 的完成提示。
与 Work 配合完成复杂任务
Work（办公模式）适合检索、分析、整理材料和生成文件；CUA 适合把结果送入只能通过桌面界面操作的应用。组合后可以完成“研究 → 生成 → 打开通信软件 → 发送结果”的完整流程。
先允许 Work 使用 ComputerUse
Work 默认不一定能够调用图形界面。开始组合任务前：
- 打开“设置 → 控制执行”。
- 找到“工具访问（Work 和 Code 模式）”。
- 开启“允许 ComputerUse（GUI 自动化）”。
- 确认操作系统已经授予 TuriX 辅助功能和屏幕录制权限。
这个开关只是让 Work 和 Code 能够调用图形界面工具，不会替代系统授权，也不会自动完成登录、验证码或第三方授权。权限级别仍决定执行工具前是否需要用户确认。
组合任务怎么执行
- Work 使用网络检索、文件和 Skill（技能）完成资料收集与整理。
- Work 先在回答或项目目录中生成待发送的消息、文档、表格或演示文稿。
- Work 调用 ComputerUse，打开已经登录的通信软件。
- CUA 能力定位指定联系人，填写消息或上传 Work 刚生成的文件。
- 用户核对收件人、内容和附件；任务发送后检查真实会话状态。
可以在 Work 中直接描述完整目标：
检索今天最值得关注的 5 条 AI 行业动态，逐条核对来源并整理成适合即时消息阅读的摘要。
整理完成后，打开已经登录的飞书客户端，把摘要发送给“青川”。
发送前核对联系人和最终内容；遇到登录、授权、联系人重名或发送失败时暂停。
如果未开启“允许 ComputerUse（GUI 自动化）”，Work 只能完成检索、整理和文件生成，无法继续操作桌面通信软件。此时可以开启设置后重试，或切换到独立 CUA 任务并明确提供结果文件路径。
开始任务
点击顶部“CUA”，左侧“新建会话”会变为新 CUA 任务。历史记录按当前 CUA 提供方显示；输入区不显示办公模板、Skill（技能）和上下文圆环。
开始前先打开目标应用或说明从哪个应用开始，关闭无关的敏感窗口，并保持窗口大小、显示器位置和系统缩放稳定。执行时不要同时争夺鼠标和键盘。
模式按钮用于选择：
- 快速模式：单模型代理，速度快、成本较低，适合简单稳定流程。
- 通用模式：大脑与执行者双模型架构，分析更全面，但速度更慢、成本更高。
企业版本也可能配置本地 CUA 与云端 SaaS（软件即服务）CUA，具体入口以客户端和管理员策略为准。首次启动本地 CUA 可能需要 1—2 分钟预热。
任务怎么写
任务至少说明目标应用、起始页面、成功标准、允许动作、禁止动作、人工确认点和异常处理方式。
打开浏览器，进入公司内部系统的“我的待办”。
整理今天到期事项的标题、负责人和截止时间，返回表格。
只读，不要修改、提交或删除记录。
遇到登录、验证码、授权、弹窗或页面结构与描述不一致时暂停让我处理。
监督和人工介入
中央时间线显示工作时长、执行模式、模型和每一步动作。点击“查看截图”可以核对该步骤看到的页面；截图可能包含敏感信息，下载后按企业资料要求保存。
出现连续等待、登录、验证码、Windows 安全页面或用户指定的停止点时，任务会暂停：
- 继续：用户处理完当前页面后恢复执行；
- 结束任务：停止当前任务，不自动撤销已经完成的动作。
CUA 不绑定 Work/Code 的本地工作目录，因此不显示同样的待办、更改和文件栏。请通过时间线、最终页面和真实系统状态验收结果，不要只看文字总结。提交类流程应停在最终确认页，由用户本人确认。
权限与安全
macOS（苹果桌面操作系统）通常需要辅助功能和屏幕录制权限；Windows（微软桌面操作系统）可能受到安全桌面限制。权限调整后可能需要重启 TuriX 或目标应用。
登录、验证码、选择账号、第三方授权、面向外部或群聊的发送、发布、支付、删除、覆盖、同意协议和最终提交都应设置为人工介入点。内部低风险发送也应在任务中限定联系人、内容和附件。多显示器场景还要确认目标窗口所在屏幕，执行中不要移动窗口或改变缩放比例。
“设置 → 控制执行 → 工具访问（Work 和 Code 模式）→ 允许 ComputerUse（GUI 自动化）”控制 Work 和 Code 能否调用图形界面自动化；CUA 专用模式还受系统权限、企业策略和当前 CUA 提供方限制。
常见问题
| 现象 | 检查与处理 |
|---|---|
| 首次启动长时间无动作 | 等待 1—2 分钟预热；确认网络、模型服务与客户端版本 |
| 看不到或点不到界面 | 授予屏幕录制或辅助功能权限；让窗口可见且无遮挡 |
| 点击位置偏移 | 恢复系统缩放，固定窗口大小，确认目标显示器 |
| 无法输入 | 手动聚焦目标控件后继续，并检查辅助功能权限 |
| 连续等待 | 检查弹窗、加载状态或登录步骤，再选择继续或结束 |
| Windows 安全页面拦截 | 用户手动处理安全弹窗，再继续 |
| 操作了错误窗口 | 立即停止，核对是否产生写入，再从明确起点重开任务 |
| Work/Code 无法调用界面 | 打开“设置 → 控制执行 → 工具访问（Work 和 Code 模式）→ 允许 ComputerUse（GUI 自动化）” |
仍无法解决时，记录客户端版本、操作系统、显示器数量、复现步骤和出错页面，按设置使用指南中的诊断要求提交。截图前遮盖账号、客户数据和凭据。