为什么你的代理需要访问你的文档

为什么你的代理需要访问你的文档

💡 原文英文,约900词,阅读约需3分钟。
📝

内容提要

kapa.ai分析其产品内代理的1,192次对话,发现知识库搜索是最常用工具,几乎与所有原生工具总和相当。它主要作为兜底回答原生工具无法处理的问题(占32.1%),补充原生工具输出的上下文(占7%),并帮助代理规划如何正确使用工具。结论是文档工具对代理至关重要,它让其他30个原生工具变得有用。

🔎

延伸解读

文档工具为何成为代理的“兜底”

在kapa.ai的1,192次对话中,知识库搜索的使用频率几乎与所有原生工具总和相当,其中32.1%的对话是用户提出原生工具无法回答的问题,如“如何设置Slack集成”或“为什么出现CORS错误”。这表明,即使代理专为特定功能设计,用户也会将其视为通用产品助手。文档工具因此成为代理应对超出预设范围问题的关键,避免了拒绝回答或猜测,从而提升了用户体验。

文档补充原生工具输出的上下文

约7%的对话中,代理同时使用原生工具和知识库搜索。原生工具提供用户账户的当前状态,而文档则解释这些状态的含义。例如,用户询问MCP集成类型及其差异时,list_integrations工具能报告配置,但比较不同集成类型的说明只能从文档获取。这种分工表明,文档工具并非替代原生工具,而是补充其输出,帮助用户理解数据背后的产品逻辑。

文档帮助代理规划工具使用

最有趣的发现是,代理有时调用知识库搜索并非为了直接回答用户,而是为了规划如何正确使用原生工具。例如,用户要求查找负面情绪对话,但产品中没有情感字段,代理通过搜索文档发现负面信号体现在downvotes和反馈评论中,进而调用正确的工具和过滤器。这表明文档不仅提供答案,还充当代理的“简报”,使其理解产品能力并选择恰当的工具,成为代理推理过程的一部分。

Q&A

kapa.ai 的代理中,哪个工具使用频率最高?

知识库搜索工具(search_knowledge_base)是使用频率最高的工具,其使用量几乎与所有原生工具的总和相当。

知识库搜索在代理中主要承担哪些角色?

知识库搜索主要承担三个角色:作为兜底回答原生工具无法处理的问题(占32.1%)、补充原生工具输出的上下文(占7%)、帮助代理规划如何正确使用工具。

为什么知识库搜索会成为代理的兜底工具?

因为用户会提出许多原生工具无法回答的问题,例如“如何设置 Slack 集成?”或“为什么出现 CORS 错误?”,这些问题只能通过查阅文档来回答,因此知识库搜索成为兜底方案。

知识库搜索如何补充原生工具的输出?

当原生工具提供用户账户的当前状态(如已配置的集成类型)时,知识库搜索可以提供关于这些状态的含义和不同选项之间的比较,从而补充上下文。

知识库搜索如何帮助代理规划工具使用?

当用户请求无法直接映射到现有工具时,代理会先搜索文档,了解产品功能,然后选择正确的原生工具。例如,用户要求查找负面情绪对话,代理通过文档发现负面信号存储在 downvotes 和反馈评论中,从而使用正确的过滤器调用工具。

对于构建产品代理的团队,kapa.ai 的发现有什么启示?

知识库工具比表面看起来更重要,它不仅能回答原生工具无法处理的问题,还能解释原生工具的输出,并指导代理选择正确的工具。文档工具是让其他原生工具变得有用的关键。

🏷️

标签

➡️

继续阅读