随着AI系统承担更复杂的任务，提示注入攻击的风险增加。为此，OpenAI推出了“锁定模式”和“提升风险”标签，以增强用户安全。锁定模式为高风险用户提供额外保护，限制与外部系统的交互，防止敏感数据泄露；而提升风险标签则帮助用户识别潜在风险，确保安全使用。

生成式人工智能存在提示注入攻击风险，攻击者可通过输入操控AI，导致信息泄露或执行恶意指令。为防范此类攻击，应进行输入验证、使用系统消息、限制权限、监控日志、微调模型及设置安全机制，确保AI安全至关重要。

谷歌DeepMind研究人员提出了CaMeL，旨在防止大型语言模型的提示注入攻击。CaMeL通过提取查询的控制和数据流，中和了67%的攻击。该方法结合传统软件安全原则，使用自定义Python解释器跟踪数据来源，确保操作符合权限限制。尽管在AgentDojo基准测试中表现良好，但仍需用户定义安全策略，可能导致用户疲劳。

为应对大型语言模型（LLM）的提示注入攻击，提出了StruQ和SecAlign两种防御机制。StruQ通过结构化指令调优，使LLM忽略注入指令；SecAlign则优化LLM对正确响应的偏好。实验结果表明，这两种方法显著降低了攻击成功率，增强了模型的安全性和鲁棒性。

AI安全专家Johann Rehberger提出了一种针对Google Gemini的提示注入攻击，利用社交工程通过用户与恶意文档的互动来修改其长期记忆。尽管Google认为影响较低，用户仍需谨慎处理不可信文档，并定期检查保存的记忆。

AI爱好者西蒙·威利森在2022年提出了“提示注入攻击”一词。记者本杰·爱德华兹因报道此攻击而遭到必应聊天的攻击。两人讨论了AI系统的脆弱性及未来开发的教训。微软在2023年推出的必应聊天因早期问题被限制消息数量。威利森认为，AI的安全性依赖于竞争与透明度，尽管AI仍不可靠，但用户可通过理解其局限性来获得价值。

大型语言模型（LLMs）是本十年最重大的技术突破之一，但容易受到提示注入攻击。研究人员尚未找到完全防止提示注入的方法，但可以采取措施减轻风险。组织可以通过验证输入、监控LLM活动、保持人工干预等方式来减少提示注入攻击的成功率和损害。