缓解我们AI产品中的令牌长度侧信道攻击
内容提要
云服务提供商Cloudflare发布了一种新的侧信道攻击方法，可以通过网络数据包长度推断AI助手的加密响应。攻击者可通过截获网络流量获取AI助手的响应内容。Cloudflare已修复漏洞并为其AI产品提供保护措施。攻击仅对使用流式传输的文本生成模型有效，潜在威胁AI推理提供商。为防止此类攻击，Cloudflare建议在响应中添加随机长度的填充字符。他们已在自己的AI产品上实施修复，并为AI Gateway用户提供相同保护。
延伸解读
攻击原理与条件
该侧信道攻击利用流式传输中每个令牌的网络数据包长度差异，推断加密响应内容。攻击者需在同一网络或ISP位置捕获流量，且准确性依赖对目标LLM写作风格的了解。研究表明，理想条件下可重建29%的响应并推断55%的主题，但攻击者无法验证预测准确性，因此结果可能从近乎完美到仅匹配连接词不等。
缓解措施与实施
Cloudflare采纳了研究建议，在流式JSON响应中添加随机长度的填充字段“p”，以掩盖令牌实际长度。该方案无需修改客户端代码，对用户透明。Workers AI和AI Gateway已自动为所有用户部署此保护，即使上游推理提供商未修复漏洞，通过AI Gateway代理的请求也能得到防护。
影响范围与局限性
此漏洞仅影响使用流式传输的文本生成模型，非流式或非文本模型不受影响。攻击需要攻击者能够观察网络流量，且准确性受限于目标LLM的写作风格。Cloudflare未发现实际恶意利用，但认为研究具有理论价值且风险不可忽视，因此迅速采取了缓解措施。
Q&A
Cloudflare的新侧信道攻击方法是如何工作的？
攻击者通过截获网络数据包，分析数据包长度来推断AI助手的加密响应，尤其是在流式传输的文本生成模型中。
Cloudflare是如何修复这个侧信道攻击漏洞的？
Cloudflare通过在响应中添加随机长度的填充字符来隐藏令牌的实际长度，从而修复了漏洞。
这种侧信道攻击对哪些AI产品构成威胁？
这种攻击主要威胁使用流式传输的文本生成模型的AI推理提供商，如Workers AI。
攻击者需要具备什么条件才能成功实施这种攻击？
攻击者需要在同一网络中，并能够捕获客户端与AI聊天服务之间的网络流量。
Cloudflare的AI Gateway如何保护用户免受此类攻击？
AI Gateway通过在所有流式响应中添加随机噪声的填充，确保用户即使在上游推理提供者未修复漏洞的情况下也能得到保护。
研究人员在发现此漏洞后与Cloudflare的合作情况如何？
研究人员通过Cloudflare的公共漏洞奖励计划与其合作，帮助发现并修复了影响LLM提供商的漏洞。
