有效评估Agent实际表现，新型在线评测框架WebCanvas来了
内容提要
介绍了WebCanvas在线评估框架，用于评估大型语言模型代理在真实网络环境中的表现。通过识别关键节点评估代理性能，并构建Mind2Web-Live数据集进行实验。实验结果显示，配备Memory模块和ReAct推理框架的代理在任务成功率上有显著提升。呼吁科研社区合作推动评估技术创新与完善。
延伸解读
关键节点：评估思路的转变
WebCanvas 提出“关键节点”概念，将评估焦点从最终结果转向任务执行过程中的必要步骤。这些节点是无论路径如何都不可或缺的操作，如访问特定页面或执行筛选。通过检测关键节点，评估能更精准地反映 Agent 在动态环境中的表现，避免因路径非唯一性导致的误判。这一思路为在线评估提供了新视角，强调过程与结果并重。
数据维护：应对网络动态变化
网络环境瞬息万变，网站更新或关闭可能导致任务失效。WebCanvas 设计了一套数据维护方案，利用 iMean Builder 记录操作细节，并通过 iMean Replay SDK 重现工作流，及时发现无效情况。这确保了评测集的持续相关性和准确性，为长期评估奠定基础。维护机制也鼓励社区反馈，共同提升数据质量。
Agent 框架：模块化设计与实验发现
WebCanvas 构建了包含规划、观察、记忆和奖励模块的 Agent 框架。实验显示，配备 Memory 模块和 ReAct 推理框架的 Agent 任务成功率提升至 23.1%。此外，整合原始标注数据的 Reward 模块能增强 Agent 能力，而 Self Reward 模块则效果有限。这表明在复杂在线环境中，外部知识对 Agent 性能有积极影响。
评估指标：步骤得分与任务得分
WebCanvas 的评估体系分为步骤得分和任务得分。步骤得分衡量 Agent 在关键节点上的表现，通过 URL、元素路径和元素值等评估函数实现。任务得分则包括完成得分和效率得分，后者考量资源利用率。这种双维度评估能全面反映 Agent 的综合能力，既关注任务完成度，也关注执行效率。
Q&A
WebCanvas框架的主要功能是什么？
WebCanvas框架用于评估大型语言模型代理在真实网络环境中的表现，提供全面的评估方法。
什么是Mind2Web-Live数据集，它包含哪些内容？
Mind2Web-Live数据集包含542个任务，旨在评估Agent在真实在线环境中的表现。
WebCanvas如何确保评估的精准度？
WebCanvas通过提出“关键节点”概念，聚焦于任务执行过程中的重要步骤，确保评估的精准度。
WebCanvas的评估体系是如何构成的？
WebCanvas的评估体系分为步骤得分和任务得分，衡量Agent在关键节点的表现和任务完成情况。
WebCanvas如何应对网络环境的变化？
WebCanvas设计了数据维护方案，确保评测集的持续相关性和准确性，以应对网络环境的变化。
WebCanvas对科研社区有什么呼吁？
WebCanvas呼吁科研社区合作，推动评测技术的创新与完善，提升数据质量。
