开源Cua：用Jev开启AI Agent自动操作电脑新范式
内容提要
Cua团队提出“系统一”小模型路线，推出70万参数、2.8MB的CUA-S1-FORMS，专攻表单填写，准确率99.7%，本地CPU延迟仅7毫秒，远超托管大模型。其核心是菜单式决策：应用先提取控件生成合法选项，模型只做选择，不生成坐标或代码，避免幻觉与误操作。大小模型分工，大模型负责规划与异常处理，小模型负责高频精准操作，可显著降低成本与延迟。
延伸解读
小模型专精化的边界与代价
CUA-S1-FORMS在表单填写上达到99.7%准确率，但这是以牺牲通用性为代价的。它只能处理预先定义好的菜单选项，无法应对动态渲染的React组件或非标准HTML表单。文章指出，感知层若识别错误，决策层再准也会失败。因此，专精小模型适合高频、标准化的操作，但面对复杂多变的网页环境，仍需大模型兜底。
菜单式决策的安全红利与局限
菜单式决策将操作限制在合法选项内，从源头切断了模型生成危险动作的可能，误删、高危操作被隔离在外。然而，这种安全依赖于应用层对控件的准确提取和危险操作的过滤。如果菜单生成环节出错，模型仍可能选错合法选项。此外，模型无法处理菜单外的突发情况，需要大模型介入，这增加了系统复杂度。
大小模型接力的临界点难题
混合架构中，系统一模型何时该交还控制权给大模型，是核心难题。99.7%的准确率意味着约三百次操作就有一次失误，若恰好发生在转账金额等关键字段，后果严重。单纯的高准确率无法实时判断模型是否超出能力边界。因此，需要设计更精细的置信度评估和异常检测机制，才能安全实现接力。
对AI Agent落地的启示
Cua与Jev的路线表明，AI操控电脑不必每次点击都调用大模型。将高频、标准化的决策剥离给本地小模型，大模型只负责复杂规划和异常处理，能同时优化成本、延迟和幻觉风险。这种分工重构可能成为下一代浏览器自动化的关键范式，但前提是解决感知层可靠性和接力临界点问题。
Q&A
CUA-S1-FORMS模型是什么？它有什么特点？
CUA-S1-FORMS是Cua团队推出的专精小模型，参数量仅70万，权重文件2.8MB，专攻表单填写任务。其决策准确率达99.7%，本地CPU推理延迟仅7毫秒，远低于托管大模型的280毫秒。它采用菜单式决策，只从预定义选项中选择，不生成坐标或代码，从而避免幻觉和误操作。
为什么小模型在表单填写上能超越大模型？
因为大模型擅长开放式推理，但用于高频、标准化的表单操作时，存在高延迟、高幻觉风险。CUA-S1-FORMS专精于此场景，通过菜单式决策将输出空间收敛为四种动作，且本地推理无需网络往返，因此准确率和速度都远超通用大模型。
菜单式决策架构是如何工作的？
应用层先扫描网页，提取所有交互控件并生成合法操作菜单，分配唯一ID。模型只负责从菜单中选择控件ID，不生成坐标或代码。驱动层将ID翻译为点击、填入等动作执行，并重新读取页面状态验证。危险操作不会出现在菜单中，从而隔离误操作风险。
Cua方案中感知层和决策层是如何分工的？
感知层负责将屏幕截图转化为结构化文字菜单，例如使用微软OmniParser识别控件边界框、文字和图标语义。决策层则基于菜单进行选择，如CUA-S1-FORMS。两层解耦，可独立升级，但感知层识别错误会导致后续决策失败，且其推理耗时也会增加整体延迟。
大小模型接力混合架构的设想是什么？存在什么难题？
混合架构中，通用大模型作为系统二负责理解指令、导航、处理异常；专精小模型作为系统一负责高速填表。难题在于系统一模型难以精准判断何时该交还控制权给大模型，因为即使99.7%准确率，在关键字段上的一次失误也可能造成严重后果。
Cua-S1-FORMS目前开源了吗？还有哪些未解决的问题？
Cua已将CUA-S1-FORMS的权重、代码和合成数据集以MIT协议开源，上传至GitHub和Hugging Face。未解决的问题是：面对动态渲染的React组件和非标准HTML表单时，模型能否保持99.7%的准确率，尚待进一步实验验证。
