全球知名AI 平台Hugging Face “惊现”上百个恶意ML模型
内容提要
JFrog发现了至少100个恶意AI ML模型实例，存在数据泄露和间谍攻击的重大风险。尽管有安全措施，但这些模型可以在受害者的机器上执行代码，为攻击者提供持久的后门。JFrog开发了先进的扫描系统来检测这些恶意模型，并发现其中一些具有有害的负载。这一发现凸显了保护生态系统免受恶意行为者的重要性，并提高了对AI ML模型安全风险的认识。
延伸解读
恶意模型如何绕过平台检测
Hugging Face虽已部署恶意软件、pickle和机密扫描等安全措施，但恶意模型仍能成功上传。攻击者利用Python pickle模块的__reduce__方法，在加载PyTorch模型文件时执行任意代码，将恶意代码嵌入可信的序列化过程以逃避检测。这表明现有安全扫描可能无法完全覆盖模型文件中的复杂攻击手法，平台和用户需对模型加载环节保持警惕。
攻击者意图与风险的不确定性
JFrog发现相同恶意载荷会连接不同IP，且证据显示操作者可能是AI研究人员而非黑客。部分上传或为安全研究，旨在绕过安全措施并收集漏洞赏金。但无论意图如何，这些危险模型已公开，风险真实存在。JFrog部署蜜罐诱捕，但在一天连接期间未捕获任何命令，攻击者的真实意图仍不明确，这增加了防御的难度。
对AI生态的警示与行动呼吁
此次发现凸显了AI ML模型可能带来的巨大安全风险，而利益相关者和技术开发人员尚未充分意识到并认真讨论这些风险。JFrog呼吁提高警惕并采取积极措施，保护生态系统免受恶意行为者侵害。对于依赖Hugging Face等平台的研究者和开发者而言，需重新评估模型来源的安全性，并推动平台加强模型审查机制。
Q&A
Hugging Face平台上发现了多少个恶意AI模型？
JFrog的安全团队发现Hugging Face平台上至少100个恶意人工智能ML模型实例。
这些恶意AI模型会造成什么危害？
这些模型可以在受害者的机器上执行代码，为攻击者提供持久的后门，构成数据泄露和间谍攻击的重大风险。
恶意模型是如何在用户机器上执行代码的？
恶意有效载荷使用Python的pickle模块的'__reduce__'方法，在加载PyTorch模型文件时执行任意代码，通过将恶意代码嵌入可信序列化过程来逃避检测。
Hugging Face采取了哪些安全措施？为什么仍未能阻止恶意模型？
Hugging Face采取了包括恶意软件、pickle和机密扫描在内的安全措施，并对模型功能进行了仔细检查，但仍然没能阻止安全事件发生。
JFrog是如何发现这些恶意模型的？
JFrog开发并部署了一套先进的扫描系统，专门用于检查Hugging Face上托管的PyTorch和Tensorflow Keras模型，从而发现了100个具有恶意功能的模型。
这些恶意模型的操作者可能是谁？
有证据表明其操作者可能是人工智能研究人员而非黑客，部分恶意上传可能是安全研究的一部分，目的是绕过Hugging Face的安全措施并收集漏洞赏金。
JFrog对AI ML模型安全风险提出了什么建议？
JFrog呼吁提高对AI ML模型安全风险的认识，并采取积极措施保护生态系统免受恶意行为者的侵害。
