更简单的LLM代理需要更多约束和更好的工具
内容提要
本文比较了不同复杂度的LLM代理在财务分析任务中的表现。研究发现，复杂的ReAct代理在使用较弱模型（如GPT-3）时效果不佳，而在使用更强模型（如GPT-4）时表现更好。简单的路由代理在处理复杂查询时表现更稳定。总体而言，复杂代理需要更强的模型支持，而简单代理在约束下能提供可靠结果。
延伸解读
模型能力决定代理复杂度上限
文章实验表明，ReAct代理的效能高度依赖底层语言模型。使用GPT-3等较弱模型时，ReAct代理在财务分析任务中表现不佳，常出现工具选择随机、覆盖不全和思维链错误；而GPT-4能可靠执行复杂查询。这提示开发者：若模型能力有限，应避免采用高度自主的代理架构，否则可能适得其反。
约束代理行为可提升弱模型可靠性
对于较弱模型，将代理行为约束为简单路由，并把复杂逻辑下沉到工具层，能显著改善查询效果。例如，GPT-3路由代理配合显式的对比/比较工具，在分析Uber风险因素时，结果比GPT-3 ReAct代理更详细、准确。这说明在模型能力不足时，通过限制代理自由度并增强工具功能，是更稳妥的设计策略。
工具层与代理层的复杂度权衡
文章核心问题是复杂度应放在代理交互层还是工具层。ReAct代理提供通用推理循环，但需要强模型支持；简单路由代理则依赖工具显式处理复杂任务。实验显示，GPT-4 ReAct代理用简单工具也能较好完成查询，而GPT-3需要复杂工具辅助。因此，设计时应根据模型能力，合理分配复杂度，而非一味追求代理的自主性。
实验局限与适用边界
本文结论基于有限实验：仅测试了三份Uber财务文档、GPT-3与GPT-4两种模型，且只对比了ReAct和路由两种代理模式。作者指出，未尝试提示工程优化、未测试其他模型（如Claude、开源模型）和代理模式（如Plan-and-Solve）。因此，这些发现应视为初步参考，实际应用中需结合具体场景进一步验证。
Q&A
复杂的LLM代理和简单的路由代理有什么区别？
复杂的LLM代理（如ReAct）具有更自由的交互行为，适合处理复杂查询，但在较弱模型上表现不佳；而简单的路由代理则更稳定，适合处理简单查询。
为什么复杂的ReAct代理在使用GPT-3时效果不佳？
因为GPT-3模型较弱，无法有效处理复杂查询，导致选择工具时出现不一致和错误。
如何改善较弱模型的查询性能？
通过约束代理的交互行为并提供更多工具，可以提升较弱模型的查询性能。
GPT-4代理在处理查询时表现如何？
GPT-4代理在处理查询时表现出更高的相关性和准确性，减少了中间结果的错误。
简单的路由代理如何与复杂工具结合使用？
简单的路由代理可以与复杂工具结合使用，以提升性能，特别是在处理复杂查询时。
使用复杂代理时需要注意什么？
使用复杂代理时需要确保模型足够强大，以避免在复杂查询中出现错误。
