Vercel构建了一个将代理指令视为软件的反馈循环

Vercel构建了一个将代理指令视为软件的反馈循环

💡 原文英文,约1000词,阅读约需4分钟。
📝

内容提要

Vercel发布公开提示文件design.md,旨在让外部AI代理生成符合其品牌风格的网页。经200多次测试,该文件将人类判断编码为可复用指南,使已知故障减少57%,但六页测试无一完美,表明此方法能降低重复错误,却非万能解决方案。

🔎

延伸解读

从代码库到公开提示:设计知识的可移植性挑战

Vercel最初尝试将内部技能直接移植为公开提示,但失败了。原因在于主观设计语言被不同模型解读各异,且代码库中的上下文无法通过提示完整传递。这提醒开发者:将依赖内部环境的隐性知识外部化时,需要重新构建,而非简单复制。

三层结构:让提示文件可测试、可迭代

Vercel将设计指南拆分为提示文件、样式表和评估循环三层。提示文件提供决策原则和禁止模式,样式表固化实现细节,评估循环将人工反馈转化为更新和自动化检查。这种分层设计使每次修改都能通过固定评估提示验证,避免回归,体现了将代理指令当作软件管理的思路。

局限与启示:减少重复错误但非万能

尽管设计.md使已知故障减少57%,但六页测试无一完美,说明显式编码失败模式能降低复发,却无法保证代理可靠性。Vercel的反馈闭环(如Slack代理和每周整合)有助于持续改进,但开发者应认识到,提示工程仍需人工审查,不能完全依赖自动化。

Q&A

Vercel 发布的 design.md 文件是什么?

design.md 是 Vercel 公开的提示文件,旨在帮助外部 AI 代理生成符合 Vercel 品牌风格的网页,即使代理无法访问 Vercel 的内部代码库。

Vercel 为什么决定构建 design.md?

因为 Vercel 之前开发的 product design 技能只对内部代码库中的代理有效,外部工具无法访问相同的设计上下文。为了能让任何代理或工具生成符合品牌风格的页面,Vercel 决定构建一个公开文件。

Vercel 在测试 design.md 时,故障减少了多少?

在六页测试中,使用 design.md 时已知故障模式为 39 次,而未使用时为 91 次,减少了 57%。

design.md 的三部分系统包括哪些内容?

三部分系统包括:1) 提示文件本身,提供设计决策指导并列出不允许的设计模式;2) 公共样式表,定义可复用的实现细节;3) 评估循环,将人类反馈转化为更新的指导和确定性检查。

Vercel 如何将反馈整合到 design.md 中?

Vercel 通过本地应用作为评估工具,存储提示、输入、模型配置、截图和反馈。反馈被分类处理:判断变化编码为文件中的散文,样式表捕获可复用的机制,机械故障变成代码中的确定性检查。

Vercel 的 design-agent 是如何工作的?

design-agent 可以通过 Slack 提及触发,加载当前的 design.md,使用发布的样式表构建请求的网页,并在 Slack 中发布截图和 URL。每周反馈会与 GitHub 和 Figma 的评论合并,重复的投诉自动成为待审批的变更建议。

Vercel 的实验结果说明了什么局限性?

实验表明,即使经过 200 多次运行,六页测试中没有一个页面能直接发布,说明更好的指导并不能保证代理的可靠性。但故障减少表明,明确命名和编码故障可以降低重复错误。

🏷️

标签

➡️

继续阅读