我们如何在WhatsApp上构建具有端到端加密和可验证性保证的诈骗警报功能
内容提要
WhatsApp推出可选功能“Scam Alert”，通过设备端机器学习模型检测可疑诈骗消息，不泄露内容，保护端到端加密。模型下载经透明账本验证，防止定向投放。用户可控制开关，误报可标记信任。隐私分析采用机密联邦计算和差分隐私，仅收集匿名聚合数据。该功能已开始Beta测试，并邀请安全社区参与验证。
延伸解读
端到端加密下的新平衡
WhatsApp的诈骗警报功能展示了在端到端加密下进行内容检测的一种新思路：所有检测都在设备本地完成，消息内容不出设备。这种设计避免了在加密通道中引入后门或服务器端扫描，从而在保护用户隐私的同时提供安全防护。对于关注隐私的用户来说，这是一个值得关注的平衡点。
可验证性：透明账本与第三方签名
为了防止模型被定向投放，WhatsApp将每个模型版本的哈希发布在第三方追加式透明账本上，并由Cloudflare签名，Meta不持有签名密钥。用户和研究者可以验证模型来源和完整性。这种设计增强了系统的可信度，但也增加了部署的复杂性，用户可通过应用内日志查看模型使用情况。
隐私保护分析：机密联邦计算
为了衡量功能效果，WhatsApp使用机密联邦计算和差分隐私，仅收集匿名聚合数据（如警告次数和用户操作次数）。这些数据在可信执行环境中处理，并添加噪声，确保无法追溯到个人。用户可查看共享数据的详细信息，这为隐私保护提供了可验证的机制。
用户控制与误报处理
诈骗警报是可选功能，用户可随时开关。若模型误报，用户可标记为信任，该聊天将不再被标记。用户还可选择分享最近5条消息以改进模型。这种设计赋予用户控制权，但误报率可能影响体验，用户需权衡隐私与便利。
Q&A
WhatsApp的Scam Alert功能是什么？
Scam Alert是WhatsApp推出的一项可选功能，通过设备端机器学习模型检测可疑的诈骗消息，并在聊天中向用户显示警告，同时不泄露消息内容，保护端到端加密。
Scam Alert如何保护用户隐私？
Scam Alert完全在设备端运行，消息内容不会离开设备，也不会自动报告给WhatsApp或Meta。即使用户选择报告，也需明确操作。此外，用于衡量功能效果的遥测数据通过机密联邦分析和差分隐私处理，仅收集匿名聚合数据。
Scam Alert的模型是如何防止被定向投放的？
每个模型版本在部署前都会发布到第三方追加式透明账本上，并带有SHA-256哈希。下载请求通过匿名凭证和OHTTP中继匿名化，且客户端使用本地随机数进行实验分组，确保服务器无法将特定模型投递给特定用户。
用户如何控制Scam Alert功能？
用户可以在设置中随时开启或关闭Scam Alert。当收到警告时，用户可以选择阻止、报告或继续对话，也可以将聊天标记为信任，之后该聊天不再被标记。
Scam Alert的模型行为如何被验证？
模型权重公开发布，独立研究人员可以下载并验证其行为。用户可以在应用内查看透明度日志，记录哪些消息被标记、结果和模型版本。此外，Bug Bounty计划允许研究人员测试模型，确保其仅用于诈骗检测。
Scam Alert的遥测数据是如何收集和处理的？
遥测数据仅包括警告次数和用户操作次数的聚合计数，通过机密联邦分析管道处理。数据在设备上聚合，发送到TEE（可信执行环境）进行安全聚合，并应用差分隐私和k-匿名阈值，确保只有匿名聚合数据可供WhatsApp使用。
Scam Alert目前处于什么阶段？
Scam Alert目前处于有限Beta测试阶段，WhatsApp邀请安全社区参与验证，并计划在正式发布前继续改进。
