内容提要
2014年纽约公开1.79亿条出租车数据,车牌经MD5哈希处理。研究员枚举约1700万种车牌并逐一计算哈希比对,还原出真实车牌,还结合照片定位名人行程。问题不在MD5强度,而在输入空间小且哈希无密钥,换SHA-256也无效。正确做法是加盐或密钥哈希(HMAC),且密钥须独立保管;但密钥哈希仅属伪匿名化。教训:先评估熵,再选工具,并考虑攻击者掌握的辅助信息。
延伸解读
哈希“单向性”的常见误解
文章指出,MD5的单向性只保证从哈希值倒推原始值很难,却不保证从候选原始值正推哈希值很难。当原始值空间很小(如车牌号仅约1700万种),攻击者可以枚举所有可能值并逐一计算哈希,再与公开数据比对。这并非破解算法,而是利用输入空间小的弱点。因此,不能把哈希的单向性等同于隐私保护。
换更强哈希函数为何无效
很多人以为MD5不安全,换成SHA-256就能解决问题。但文章强调,攻击者并未利用MD5的碰撞漏洞,而是利用“输入空间小+哈希无密钥”的组合。即使换成SHA-256,枚举1700万次依然可行,只是每次计算稍慢。问题的本质在于输入本身的熵不足,而非哈希函数的密码学强度。
加盐与密钥哈希的正确用法
加盐或密钥哈希(HMAC)的目的是让攻击者无法复用预计算成果。随机盐必须与哈希值分开保管,否则攻击者可将盐拼回重新枚举。HMAC则要求秘密密钥,没有密钥就无法构造候选值到哈希的映射。但文章提醒,密钥哈希仅属伪匿名化,持有密钥者仍可重新识别个体,在GDPR下通常仍视为个人数据。
评估脱敏方案需考虑辅助信息
文章通过出租车事件中名人照片定位、AOL搜索日志中查询文本暴露身份等案例说明,脱敏方案不能孤立地看单个字段。攻击者掌握的辅助信息(如带时间地点的照片、搜索语义)能大幅放大攻击效果。因此,设计隐私保护方案时,必须放在“攻击者手里可能有什么”的语境下评估,先计算标识符的熵,再选择合适工具。
Q&A
纽约出租车数据泄露事件中,攻击者是如何还原出被哈希的车牌号的?
攻击者利用车牌号编码规则有限(约1700万到1900万种可能),枚举所有可能车牌,对每个候选值计算MD5哈希,再与公开数据集中的哈希值比对,匹配上的即为真实车牌。这属于原像枚举,而非破解哈希算法。
为什么把MD5换成SHA-256也无法保护出租车数据中的车牌隐私?
因为攻击者并未利用MD5的碰撞漏洞,而是利用输入空间小且哈希无密钥的特点。换成SHA-256后,枚举1700万次仍然可行,只是每次计算稍慢,问题本质在于输入熵太低,而非哈希函数强度。
加盐哈希和密钥哈希(HMAC)在保护低熵数据时有什么区别?
加盐是在哈希前拼接随机数,使相同原始值产生不同哈希,但盐必须与哈希值分开保管,否则攻击者可重新枚举。密钥哈希(HMAC)将盐升级为需保密的密钥,没有密钥就无法构造候选值到哈希的映射,安全性更高。
密钥哈希(HMAC)能实现真正的匿名化吗?
不能。密钥哈希提升的是伪匿名化,只要密钥存在,持有密钥的人(包括数据发布方)仍可重新识别个体。在GDPR框架下,密钥哈希后的数据通常仍被视为个人数据,只是保护等级高于明文或无盐哈希。
从纽约出租车数据事件中可以总结出哪些隐私保护教训?
教训包括:先评估标识符的熵再选择工具,低熵标识(车牌、IP、工号)不能依赖裸哈希;密钥必须独立于发布数据保管;评估脱敏方案时要考虑攻击者可能掌握的辅助信息(如名人照片、查询文本),不能孤立看单个字段。
除了纽约出租车数据,还有哪些类似的数据脱敏失败案例?
Netflix Prize数据集(2006年)中用户ID被替换为随机标识,但评分记录的稀疏结构结合少量辅助知识仍可关联到真实个体;AOL搜索日志(2006年)中用户ID被哈希,但搜索查询文本的语义内容直接导致用户被识别。