Apple Machine Learning Research
·
面向治理的代理遥测在多智能体AI系统中的闭环执行
内容提要
提出的治理感知代理遥测（GAAT）架构实现了对企业多智能体AI系统的实时违规检测与自动政策执行，显著提高了电商系统的违规预防率，达到98.3%。
关键要点
-
企业多智能体AI系统每小时产生数千个代理间交互，现有可观察性工具无法执行治理。
-
现有工具如OpenTelemetry和Langfuse将治理视为下游分析问题，而非实时执行目标。
-
提出的治理感知代理遥测（GAAT）架构实现了遥测收集与自动政策执行的闭环。
-
GAAT引入了治理遥测架构（GTS），扩展了OpenTelemetry以包含治理属性。
-
GAAT具有实时政策违规检测引擎，使用OPA兼容的声明性规则，延迟低于200毫秒。
-
GAAT的治理执行总线（GEB）提供分级干预。
-
GAAT的可信遥测平面具有加密来源。
-
在一个五代理的电商系统中，GAAT实现了98.3%的违规预防率，检测延迟中位数为8.4毫秒。
-
在12000个真实生产轨迹中，GAAT达到了99.7%的违规预防率。
-
GAAT在统计验证中显示出显著性，95%自助法置信区间为[97.1%, 99.2%]。
-
GAAT的表现优于NeMo Guardrails风格的代理边界执行，提升了19.5个百分点。
-
提供了正式的属性规范，包括升级终止、冲突解决确定性和有限假阳性隔离，经过10000次蒙特卡洛模拟验证。
延伸解读
实时治理的重要性
在多智能体AI系统中，实时治理显得尤为重要。传统的监测工具往往只能在事后发现违规行为，导致潜在损失。GAAT架构通过实时检测和自动执行政策，能够在违规发生前进行干预，从而显著降低风险，提升系统的安全性和可靠性。
GAAT的技术优势
GAAT架构在技术上具有显著优势，特别是在延迟方面。其政策违规检测引擎的延迟低于200毫秒，确保了快速响应。此外，GAAT的治理执行总线提供了分级干预，能够根据违规的严重程度采取不同的措施，这种灵活性在复杂的多智能体环境中尤为重要。
与传统工具的比较
与OpenTelemetry和Langfuse等传统工具相比，GAAT不仅仅是数据收集工具，而是将治理视为实时执行的目标。这种转变使得GAAT能够在多智能体系统中实现更高的违规预防率，达到98.3%，而传统工具则无法满足这一需求。
延伸问答
GAAT架构的主要功能是什么？
GAAT架构实现了遥测收集与自动政策执行的闭环，能够实时检测违规并执行政策。
GAAT在电商系统中的违规预防率是多少？
在一个五代理的电商系统中，GAAT实现了98.3%的违规预防率。
GAAT如何提高政策执行的实时性？
GAAT使用低于200毫秒的延迟进行实时政策违规检测，确保快速响应。
GAAT与现有工具相比有什么优势？
GAAT的表现优于NeMo Guardrails风格的代理边界执行，提升了19.5个百分点的违规预防率。
GAAT的治理遥测架构（GTS）有什么特点？
GTS扩展了OpenTelemetry，包含治理属性，增强了对政策执行的支持。
GAAT的统计验证结果如何？
GAAT的统计验证显示出显著性，95%自助法置信区间为[97.1%, 99.2%]。
