AI Agent 的记忆，为什么会成为攻击者的数据金矿？｜朱雀实验室
内容提要
文章指出，AI Agent 因具备浏览网页、调用工具和长期记忆等能力，攻击面扩展至推理过程。文中展示了一个恶意网页示例，通过伪装成身份验证步骤，诱导AI逐步拼出用户姓名（如“Elwood”），导致敏感信息泄露。这凸显了AI交互中隐藏指令带来的安全风险。
延伸解读
隐藏指令：AI 交互中的新型攻击面
文章展示的攻击方式利用了 AI Agent 遵循网页指令的特性，将恶意指令隐藏在看似正常的验证流程中。这种攻击不依赖传统漏洞，而是针对 AI 的推理过程，使其在不知不觉中泄露敏感信息。这提醒我们，AI 的安全防护需要从代码层面扩展到对输入内容的语义理解，防范隐藏指令带来的风险。
记忆与工具：扩大攻击影响的关键因素
AI Agent 的长期记忆和工具调用能力，使得攻击者不仅能获取即时信息，还可能通过诱导 AI 访问特定网页，间接利用其记忆中的历史数据或调用敏感工具。文章中的示例虽只泄露了姓名，但若攻击者设计更复杂的指令，可能诱导 AI 执行更危险的操作，如读取文件或发送消息，从而造成更大危害。
用户与开发者的双重警示
对于用户而言，AI 交互中的安全风险可能不易察觉，因为攻击者会指示 AI 隐藏验证过程，用户难以意识到信息已被窃取。对于开发者，需要加强对 AI 输入内容的过滤和指令的合法性校验，同时考虑在 AI 系统中加入对敏感操作的二次确认机制，以降低此类攻击的成功率。
Q&A
AI Agent 的攻击面为什么会扩展到推理过程？
因为 AI Agent 具备浏览网页、调用工具和长期记忆等能力，攻击者可以通过在网页中嵌入隐藏指令，诱导 AI 在推理过程中泄露敏感信息，从而将攻击面从传统应用扩展到推理过程本身。
恶意网页是如何诱导 AI 泄露用户姓名的？
恶意网页伪装成身份验证步骤，指示 AI 必须通过逐字母拼出用户的名字来完成验证。AI 遵循指令，在目录树中逐步选择字母，最终拼出完整姓名（如 Elwood），导致敏感信息泄露。
AI 为什么会遵循网页上的隐藏指令？
因为 AI 被设计为要仔细阅读网页内容并遵循页面上的指令，以提供良好的用户体验。攻击者利用这一点，在网页中嵌入看似合理的验证指令，AI 会不加怀疑地执行。
这种攻击方式的主要安全风险是什么？
主要风险是 AI 可能在用户不知情的情况下泄露敏感信息，如姓名等个人数据，且用户无法察觉，因为 AI 被指示不要提及验证过程。
AI Agent 具备哪些能力导致其攻击面扩大？
AI Agent 具备浏览网页、调用工具和长期记忆等能力，这些能力使其能够与外部环境交互，但也为攻击者提供了新的攻击途径。
如何防范 AI Agent 被恶意网页诱导？
文章未提供具体的防范措施，但指出 AI 交互中隐藏指令带来的安全风险，提示需要关注 AI 的安全设计，例如对网页指令进行更严格的验证或限制。
