内容提要
Omnigent通过上下文策略阻止AI代理因“致命三要素”(私有数据访问、不可信内容、外部通信)导致的数据泄露。策略跟踪会话状态,当检测到前两个条件已满足且尝试外发时,拒绝该调用,防止数据外泄。此方法不影响正常操作,并支持多代理系统,确保安全。
延伸解读
为什么单次授权检查拦不住组合攻击
传统授权机制每次只检查一个动作,比如“能否读文档”或“能否发邮件”,每个单独动作都合法,因此无法识别由多个合法动作组合成的危险序列。Omnigent的上下文策略通过记录会话历史,识别出“私有数据访问+不可信内容+外部通信”这一致命组合,并在外发动作发生时及时阻断,弥补了单次检查的盲区。
策略如何区分正常操作与攻击
策略只在外发动作与已满足的私有数据访问和不可信内容条件同时出现时才阻断,不影响正常操作。例如,处理常规工单时,即使读取了不可信内容,只要未访问私有数据,外发邮件仍被允许。这种基于会话状态的判断,既阻止了数据泄露,又避免了对日常工作的干扰。
策略配置由人掌控,防止提示注入绕过
策略的配置由人类在代理配置中定义,代理无法在运行时更改,这防止了提示注入通过重新分类数据来绕过策略。此外,策略可以基于工具名称或参数来分类条件,例如根据URL判断是否不可信,提供了灵活性,同时确保安全边界由人设定。
Q&A
什么是AI代理的“致命三要素”?
AI代理的“致命三要素”是指在一个会话中同时具备三个条件:访问私有数据、接触不可信内容、以及能够对外通信。这三个条件单独看都是正常且有用的,但组合在一起时,不可信内容可能携带指令,利用私有数据访问和对外通信渠道进行数据泄露。
Omnigent的上下文策略如何阻止AI代理的数据泄露?
Omnigent的上下文策略通过跟踪会话状态,识别出私有数据访问和不可信内容这两个条件已经满足,当代理尝试进行外部通信(如发送邮件)时,策略会拒绝该调用,从而切断数据泄露的路径。策略只在三个条件同时满足时介入,不影响其他正常操作。
为什么传统的授权检查无法阻止这种数据泄露?
传统的授权检查一次只检查一个动作,例如是否允许读取文档或发送邮件,每个单独动作都是合法的,因此检查会通过。但致命三要素的危险在于动作的组合和顺序,传统检查无法看到会话历史,因此无法识别这种由多个合法动作组成的危险序列。
Omnigent的上下文策略如何配置?
策略的配置由人类在代理配置中定义,代理无法在运行时更改。策略可以基于工具名称或参数来分类条件,例如根据URL判断是否不可信。这种设计防止了提示注入通过重新分类数据来绕过策略。
Omnigent的上下文策略是否会影响正常的支持工单处理?
不会。策略只阻止三个条件同时满足的情况。例如,处理常规工单时,即使读取了不可信内容(如工单),只要未访问私有数据,外发邮件仍被允许。只有真正访问了私有数据且尝试外发时才会被阻止。
Omnigent的上下文策略如何应用于多代理系统?
在多代理系统中,子代理的指令被视为不可信内容,因为指令来自其他代理而非可信人员。因此,如果子代理读取了私有数据并尝试外发,策略会将其视为已满足两个条件并阻止外发,从而防止数据泄露。