从 Shopify 构建 Agent 的经验中可以学到的
内容提要
Shopify分享了构建智能体的经验，提出四条建议：简化架构、明确工具边界、模块化设计、与人类相关的评估。建议工具数量控制在20个以内，利用子智能体分摊上下文，并通过人类专家标记结果来评估智能体生成的结果，以实现自我优化。
关键要点
-
Shopify分享了构建智能体的经验，提出四条建议。
-
建议简化架构，工具要清晰有边界。
-
建议采用模块化设计，如即时指令。
-
评估必须与人类高度相关，提前应对奖励作弊。
-
建议工具数量控制在20个以内，以提高智能体的能力。
-
使用子智能体分摊上下文，避免影响主智能体的上下文长度。
-
智能体生成的结果需要评估，以便进行自我优化。
-
通过人类专家标记结果，建立基准数据集，确保评估的准确性。
-
当LLM评估结果与人类一致后，可以放心使用LLM进行后续评估。
延伸解读
工具数量的控制
Shopify建议在构建智能体时，工具数量应控制在20个以内。这是因为过多的工具会导致智能体在选择时的复杂性增加，从而影响其性能。通过合理的工具管理，可以提升智能体的效率和准确性。
评估机制的重要性
评估智能体生成结果的机制至关重要。Shopify强调，依赖人类专家进行标记可以建立基准数据集，从而提高评估的准确性。这种方法虽然可能存在误判，但通过与人类结果的一致性，可以有效减少人工干预的需求。
模块化设计的优势
采用模块化设计可以有效分摊上下文，避免主智能体的上下文长度受到影响。Shopify提到的子智能体（SubAgent）概念，类似于企业分部门管理，能够提升整体系统的灵活性和自制能力。
延伸问答
Shopify在构建智能体时提出了哪些核心建议？
Shopify提出了四条核心建议：简化架构、明确工具边界、模块化设计、与人类相关的评估。
为什么建议工具数量控制在20个以内？
工具数量过多会影响智能体的能力，难以精确选择工具，因此建议控制在20个以内。
如何评估智能体生成的结果？
评估智能体生成的结果需要人类专家标记结果，并建立基准数据集，以确保评估的准确性。
什么是子智能体（SubAgent），它有什么作用？
子智能体是将一类工具放在一个子智能体中，以分摊上下文，避免影响主智能体的上下文长度。
如何确保LLM评估结果的准确性？
通过让人类专家标记结果，并确保LLM评估结果与人类一致，来确保评估的准确性。
Shopify对奖励作弊的应对措施是什么？
Shopify建议提前应对奖励作弊，并持续优化评估体系，以确保智能体的有效性。
