从 Shopify 构建 Agent 的经验中可以学到的
💡
原文中文，约1000字，阅读约需3分钟。
📝
内容提要
Shopify分享了构建智能体的经验，提出四条建议：简化架构、明确工具边界、模块化设计、与人类相关的评估。建议工具数量控制在20个以内，利用子智能体分摊上下文，并通过人类专家标记结果来评估智能体生成的结果，以实现自我优化。
🎯
关键要点
-
Shopify分享了构建智能体的经验，提出四条建议。
-
建议简化架构，工具要清晰有边界。
-
建议采用模块化设计，如即时指令。
-
评估必须与人类高度相关，提前应对奖励作弊。
-
建议工具数量控制在20个以内，以提高智能体的能力。
-
使用子智能体分摊上下文，避免影响主智能体的上下文长度。
-
智能体生成的结果需要评估，以便进行自我优化。
-
通过人类专家标记结果，建立基准数据集，确保评估的准确性。
-
当LLM评估结果与人类一致后，可以放心使用LLM进行后续评估。
❓
延伸问答
Shopify在构建智能体时提出了哪些核心建议？
Shopify提出了四条核心建议：简化架构、明确工具边界、模块化设计、与人类相关的评估。
为什么建议工具数量控制在20个以内？
工具数量过多会影响智能体的能力，难以精确选择工具，因此建议控制在20个以内。
如何评估智能体生成的结果？
评估智能体生成的结果需要人类专家标记结果，并建立基准数据集，以确保评估的准确性。
什么是子智能体（SubAgent），它有什么作用？
子智能体是将一类工具放在一个子智能体中，以分摊上下文，避免影响主智能体的上下文长度。
如何确保LLM评估结果的准确性？
通过让人类专家标记结果，并确保LLM评估结果与人类一致，来确保评估的准确性。
Shopify对奖励作弊的应对措施是什么？
Shopify建议提前应对奖励作弊，并持续优化评估体系，以确保智能体的有效性。
➡️
