研究人员攻破了OpenAI的Guardrails安全护栏，利用提示注入方法绕过安全检测，生成危险内容。攻击者能够同时操控生成模型和安全评估模型，导致系统漏洞。专家警告，依赖模型评估可能造成虚假安全感，建议采用独立验证和持续对抗测试以增强防御。

LlamaFirewall是一个开源安全护栏系统，旨在应对大型语言模型在执行复杂任务时的新安全风险。该框架通过三种护栏机制有效缓解提示注入、代理不一致性和不安全代码等问题，具有重要的应用价值和安全防护潜力。