InfoQ
·
Google Gemini的长期记忆易受一种钓鱼攻击的影响
💡
原文英文，约600词，阅读约需2分钟。
📝
内容提要
AI安全专家Johann Rehberger提出了一种针对Google Gemini的提示注入攻击，利用社交工程通过用户与恶意文档的互动来修改其长期记忆。尽管Google认为影响较低，用户仍需谨慎处理不可信文档，并定期检查保存的记忆。
🎯
关键要点
- AI安全专家Johann Rehberger提出了一种针对Google Gemini的提示注入攻击，利用社交工程通过用户与恶意文档的互动来修改其长期记忆。
- Rehberger展示了一种绕过Google Gemini保护机制的技术，称为延迟工具调用，允许在用户与模型互动时触发恶意操作。
- 攻击者可以通过嵌入提示注入的文档，诱使Gemini在用户持续互动的情况下存储虚假信息。
- 尽管此攻击可能永久改变Gemini的行为，Google认为其影响较低，因为用户需主动参与此类攻击。
- Rehberger建议用户定期检查保存的记忆，并在处理不可信文档时保持谨慎。
- 提示注入攻击成为干扰大型语言模型行为的一种简单方式，可能导致私密数据泄露。
- Google Gemini的记忆功能与ChatGPT的记忆相似，旨在持久存储用户关心的内容，以提供更相关的回答。
➡️
