Claude管理代理推出的“梦境”功能通过回顾过去会话帮助代理自我改进，自动更新记忆并识别模式，提升处理复杂任务的能力。同时，开发者可利用“结果”功能设定成功标准，代理可自我校正以提高任务成功率。多代理编排功能允许主代理将任务分配给专门代理，从而提升工作效率，优化工作流程，显著提高完成率和质量。

随着组织将生成性AI从实验转向运营部署，代理AI的应用迅速增长。然而，超过70%的应用案例可能无法实现预期价值。IT领导者需要采用新的财务框架来评估代理AI的投资回报率（ROI），关注成本、任务成功率和长期可用性等关键指标。同时，应用开发、系统集成和数据管理等隐藏成本也需纳入预算，以确保实现可衡量的商业价值。

本文探讨了AI代理的评估方法，强调应将代理视为系统而非单一模型。传统的准确性指标无法全面反映代理在实际应用中的表现，评估应关注任务成功率、工具故障恢复能力和在真实环境中的一致性。提出了五个评估支柱：智能与准确性、性能与效率、可靠性与韧性、责任与治理、用户体验。有效评估需结合自动化评分与人工判断，以确保代理在生产环境中的可行性和安全性。

苏黎世联邦理工学院的研究发现，AGENTS.md 文件可能会影响 AI 编码代理的性能。研究建议完全省略 LLM 生成的上下文文件，并限制人类编写的指令。结果显示，LLM 生成的文件降低了任务成功率，而人类编写的文件虽略有提升，但增加了步骤和成本。

文章探讨了机器人操作中的分布不一致性问题，提出了χ0框架，通过模型算术、阶段优势和训练-部署对齐等技术，提高机器人在复杂任务中的鲁棒性和效率。重点在于如何有效利用有限的数据和示范，优化机器人学习与执行策略，以提升任务成功率和稳定性。

本文介绍了PhysHSI系统，该系统旨在实现人形机器人在真实环境中的自然场景交互。通过结合LiDAR和相机，PhysHSI能够自主完成复杂任务，如搬运箱子、坐下和躺下。系统利用对抗运动先验（AMP）框架，提升了机器人在多样化场景中的泛化能力和自然动作表现。实验结果显示，PhysHSI在各种任务中表现出高成功率和良好的动作质量，展现了其在真实世界应用中的潜力。

Agent评估是对智能体在任务执行、决策和用户交互中的性能进行评估，关注任务成功率、安全性和效率等关键维度，以确保其在复杂环境中的可靠性。常用方法包括基准测试和人机协作评估，旨在优化性能并降低风险。

设计数字产品时，应关注关键用户体验指标，如任务成功率、任务时间、用户错误率、系统可用性评分、净推荐值、用户留存率和客户满意度。这些指标能有效反映用户体验，助力优化设计和提升转化率。

AIxiv专栏促进学术交流，报道超过2000篇内容。OS-Genesis提出了一种无人工监督的GUI数据合成框架，通过反向任务合成生成高质量轨迹数据，显著提高了GUI agent的任务成功率和适应性，为构建通用GUI agent提供了新思路。