GitHub对其新Copilot功能的建议是:先试试别的

GitHub对其新Copilot功能的建议是:先试试别的

💡 原文英文,约700词,阅读约需3分钟。
📝

内容提要

GitHub在Copilot CLI和桌面应用中推出“计算机使用”公开预览,允许代理操作macOS和Windows应用,包括读取内容及点击、输入、滚动、拖拽,适用于无API的旧版软件。该功能通过操作系统辅助功能树读取应用,必要时截图,建议优先使用API等直接工具。企业策略可覆盖本地设置,且存在误操作、敏感信息泄露等风险。

🔎

延伸解读

与竞品的差距

GitHub在计算机使用功能上落后于OpenAI和Anthropic。OpenAI于4月将计算机使用加入Codex,Anthropic今年早些时候为Claude Code和Claude Cowork带来了更广泛的macOS计算机使用。GitHub此次推出公开预览,意在追赶,但功能成熟度和覆盖范围可能仍有差距。

适用场景与限制

该功能主要针对无API、命令行或MCP集成的旧版GUI软件,可读取内容并模拟点击、输入、滚动和拖拽。但GitHub建议优先使用API、MCP服务器、终端命令等直接工具,因为桌面交互可能因界面变化导致重复操作或卡顿,且可能误选控件、输错字段。

权限与安全控制

启用计算机使用需在Copilot CLI中执行/computer on或通过桌面应用设置。macOS还需辅助功能权限和屏幕录制权限。CLI会话的权限模式决定是否需批准应用访问,拒绝规则优先于自动和保存的批准。企业策略可覆盖本地设置,并通过managed-settings.json控制是否允许绕过批准提示。

风险与注意事项

代理可能因界面动态变化或指令模糊而执行错误操作,影响设备、数据或关联账户。应用窗口中可见的敏感信息也可能成为代理的上下文。用户需注意停止操作需单独执行:CLI中按两次Esc,桌面应用中点击停止或按Esc。企业默认启用策略不适用于预览功能。

❓

Q&A

GitHub Copilot 的计算机使用功能是什么?

GitHub 在 Copilot CLI 和桌面应用中推出了计算机使用功能的公开预览,允许代理操作 macOS 和 Windows 应用,包括读取应用内容以及点击、输入、滚动和拖拽。该功能适用于没有 API、命令行界面或 MCP 集成的旧版 GUI 软件。

如何启用 GitHub Copilot 的计算机使用功能?

在 Copilot CLI 中使用 /computer on 命令启用,或通过 Copilot 应用的 Computer Use 设置启用。在 macOS 上,还需要授予辅助功能权限以操作控件,以及屏幕录制权限以在需要视觉上下文时检查窗口。

GitHub 对使用计算机使用功能有什么建议?

GitHub 建议尽可能使用直接工具。如果 API、MCP 服务器、终端命令、文件系统工具或专用浏览器工具能够处理任务,它们通常比桌面交互提供更结构化的信息和更可预测的结果。

计算机使用功能有哪些风险?

风险包括:代理可能重复操作或停滞;可能选择错误的控件、输入错误的字段,或难以处理动态界面和复杂工作流;应用窗口中可见的敏感信息可能成为代理的上下文;意外屏幕内容和模糊指令可能导致影响用户设备、数据或关联账户的操作。

企业策略如何影响计算机使用功能?

企业策略可以覆盖开发者的本地偏好。如果管理设置阻止计算机使用,Copilot CLI 会报告该功能不可用。通过 managed-settings.json,企业所有者还可以控制开发者是否可以绕过审批提示,该限制适用于 Copilot 应用、CLI 和 VS Code。

如何停止计算机使用代理的工作?

在 CLI 中,按两次 Esc 键停止;在桌面应用中,点击停止按钮或按 Esc 键。

🏷️

标签

➡️

继续阅读