ReAct代理基准测试

过去一年，AI社区对基于LLM的代理产生了浓厚兴趣。

单一ReAct代理在指令和工具过多时性能下降，尤其是在需要较长操作序列的任务中。

不同模型在日历调度和客户支持任务中的表现差异明显。

研究发现更多的上下文和工具会降低代理性能。

需要较长操作序列的代理性能下降更快。

o1、o3-mini和claude-3.5 sonnet在性能上优于gpt-4o和llama-3.3-70B。

o3-mini在较小上下文下表现良好，但随着上下文增加，性能下降更为明显。

实验设计中，代理的任务包括日历调度和客户支持。

随着提供的领域数量增加，代理的任务执行能力受到影响。

在日历调度任务中，o1和o3-mini表现最佳，而gpt-4o和llama-3.3-70B表现较差。

客户支持任务需要更多工具，且工具调用轨迹更长。

在多领域任务中，claude-3.5-sonnet表现相对稳定，而o1和o3-mini性能下降明显。

未来将探索多代理架构的效果，比较其与单一ReAct代理的性能差异。