OTO 规划器：用于复杂和未知环境的高效只旅行一次探索规划器
原文中文，约1300字，阅读约需4分钟。
📝
内容提要
本文提出了一种基于探索的轨迹优化方法 ETO，旨在提升开放式 LLM 代理的性能。ETO 允许代理从失败中学习，通过对比学习更新政策，促进持续改进。实验表明，ETO 在复杂任务中显著超越基线性能，并在缺乏专家轨迹时展现出高效性。
🔎
延伸解读
ETO 的核心创新：从失败中学习
与仅依赖成功专家轨迹的传统方法不同，ETO 允许代理从探索失败中学习。通过对比学习（如 DPO）利用失败与成功轨迹的偏好对来更新策略，代理能在迭代循环中持续改进。这种机制在缺乏专家轨迹时尤其有价值，为开放式 LLM 代理提供了一种更自主的优化路径。
实验表现：复杂任务中的优势
在三个复杂任务上的实验表明，ETO 始终以较大幅度超越基线性能。这验证了从失败中学习的有效性，尤其是在专家轨迹稀缺的场景下，ETO 仍能高效完成任务，展现出其解任务效率和潜力。
与相关工作的对比
文章提及的 OTO 规划器专注于复杂未知环境中的只旅行一次探索规划，而 ETO 则聚焦于提升开放式 LLM 代理的性能。两者虽同属探索规划领域，但 ETO 的创新点在于利用失败轨迹进行对比学习，这与传统仅训练成功轨迹的方法形成鲜明对比。
❓
Q&A
ETO 方法是如何提升 LLM 代理性能的？
ETO 方法通过允许代理从失败中学习，并利用对比学习更新政策，从而促进持续改进。
在缺乏专家轨迹的情况下，ETO 的表现如何？
在缺乏专家轨迹的情景中，ETO 展现出高效性，能够有效解任务。
实验结果显示 ETO 的性能如何？
实验表明，ETO 在三个复杂任务中显著超越基线性能。
ETO 方法与传统方法有什么不同？
ETO 方法不同于传统方法，它不仅依赖成功的专家轨迹，还允许从失败中学习。
对比学习在 ETO 中的作用是什么？
对比学习在 ETO 中用于更新政策，帮助代理从不同的轨迹偏好中学习。
ETO 方法的主要优势是什么？
ETO 方法的主要优势在于其能够在复杂任务中持续改进并高效解任务，即使在缺乏专家指导的情况下。
🏷️
