天工(Tiangong):用 Rust + Tauri + Silent 打造的插件化个人 AI Agent 桌面终端,能直接操作微信等任意桌面应用

💡 原文中文,约1700字,阅读约需4分钟。
📝

内容提要

天工是开源个人AI Agent宿主,基于Rust和Tauri构建,以插件为核心,主程序仅保留会话循环、模型接入、插件路由与沙箱等骨架。其亮点包括:Computer Use可操作微信等原生桌面应用,嵌入式浏览器与真实终端,多智能体协作,多形态插件系统,系统级沙箱隔离,支持多模型切换及飞书、微信等远程控制。

🔎

延伸解读

插件化架构:Agent 能力的边界由插件决定

天工主程序仅保留会话循环、模型接入、插件路由与沙箱等骨架,Agent 能做什么完全取决于安装了哪些插件。这种设计让功能扩展无需修改核心,用户可按需启停插件,甚至通过对话让 Agent 创建并安装新插件。插件形态多样,包括纯 UI、TypeScript 工具、Node sidecar、WASM 逻辑层及混合插件,独立签名发布,兼顾灵活性与安全性。

Computer Use:直接操作原生桌面应用

Computer Use 插件让 Agent 能按应用名唤起微信、飞书等原生应用,自动分屏后截图观察界面,并通过系统级键鼠事件(macOS CGEvent / Windows SendInput)和无障碍控件树进行操作。操作过程以虚拟指针和按键 HUD 实时展示,用户可随时观察或接管。这使 AI 能真正参与个人工作流,而不仅限于对话。

系统级沙箱:安全隔离与拒绝降级

天工通过独立 Sandbox Launcher 隔离插件 Sidecar 和命令进程,macOS 使用 Seatbelt,Linux 使用 bubblewrap,Windows 使用 AppContainer + Job Object。当 Launcher 缺失或签名无效时,会直接拒绝启动受保护进程,不会静默降级。这种严格策略确保了插件和命令进程在受控环境中运行,降低了安全风险。

多模型与远程控制:灵活接入与移动指挥

天工适配 DeepSeek V4 并支持上下文缓存,可通过 ChatGPT 账号(Codex OAuth)登录调用 GPT 模型,也兼容 Kimi、智谱及 OpenAI / Anthropic 协议,会话内可随时切换模型。通过 Bot 接入飞书、微信、QQ,用户能在手机上远程指挥电脑上的天工。此外,内置 Cron 定时任务、Webhook 触发、长期记忆、MCP 与 Skill 接入,增强了自动化与扩展能力。

❓

Q&A

天工是什么?它和普通AI对话工具有什么不同?

天工是一个以插件为核心的个人AI Agent宿主,基于Rust + Tauri + Silent构建,主要形态是桌面应用,也提供CLI和HTTP/WebSocket Server。与普通对话工具不同,它能让AI真正参与个人工作流,用户可观察进度、接管操作,Agent也能感知变化继续推进。

天工的Computer Use功能具体能做什么?

Computer Use插件可以让Agent按应用名(支持中文名如“微信”)唤起应用,自动与天工窗口分屏,截图观察界面,用系统级键鼠(macOS CGEvent / Windows SendInput)和无障碍控件树直接操作微信、飞书、系统设置等原生应用,操作过程以虚拟指针和按键HUD实时展示。

天工的插件系统支持哪些形态?如何管理插件?

天工插件支持纯UI、TypeScript工具、Node sidecar、WASM逻辑层及混合插件等形态。插件独立签名发布、按需启停;还能在对话里让Agent直接创建、构建并安装你自己的插件,当前会话即可调用。

天工如何保证插件和命令进程的安全?

天工通过独立Sandbox Launcher隔离插件Sidecar和命令进程:macOS用Seatbelt、Linux用bubblewrap、Windows用AppContainer + Job Object。Launcher缺失或签名无效时直接拒绝启动受保护进程,不会静默降级。

天工支持哪些模型和远程控制方式?

天工适配DeepSeek V4与上下文缓存,支持ChatGPT账号(Codex OAuth)登录直接调用GPT模型,也支持Kimi、智谱及OpenAI / Anthropic兼容协议;会话内可随时切换模型。远程控制方面,通过Bot接入飞书、微信、QQ,可在手机上远程指挥电脑上的天工。

天工为什么选择用Rust开发?

天工以Rust为基础,Web层使用Silent框架,插件WASM逻辑跑在Wasmtime里。团队优先追求本地运行、可扩展、可治理和长期可维护,重要数据都保存在本地。

如何开始使用天工?

macOS(已签名并公证)、Windows、Linux的安装包都在GitHub Releases。装好后建议先在「设置 → 插件管理」装上Computer Use、浏览器、终端三个插件,然后可以尝试让天工打开微信并总结项目群今天的消息。

🏷️

标签

➡️

继续阅读