InfoQ
·
演讲：有缺陷的机器学习安全：通过MLSecOps减轻数据和机器学习基础设施中的安全漏洞
内容提要
在机器学习领域，安全性常被忽视。Gonzalez-Martin指出，机器学习安全（MLSecOps）应关注模型开发生命周期的每个环节，识别潜在攻击面。借鉴DevOps最佳实践，如OWASP Top 10，建立机器学习安全标准至关重要。此外，安全不仅是技术问题，还涉及人类因素，需要加强意识和流程管理。
关键要点
-
机器学习领域的安全性常被忽视，Gonzalez-Martin强调需要关注模型开发生命周期的每个环节。
-
机器学习安全（MLSecOps）是MLOps的延伸，旨在识别潜在的攻击面。
-
Linux基金会为AI和数据发布了八项可信AI原则，强调安全性的重要性。
-
MLSecOps领域正在发展，Linux基金会成立了工作组来关注这一领域。
-
所有模型开发生命周期的环节都可能受到外部威胁，尤其是服务层。
-
MITRE发布了机器学习系统攻击的目录，提供了攻击向量的文献。
-
借鉴DevOps的最佳实践，建立机器学习安全标准至关重要，例如OWASP Top 10。
-
机器学习系统的架构包括实验、训练、部署和监控等环节。
-
Pickles是Python的序列化格式，存在安全隐患，可能被攻击者利用。
-
建议使用ONNX等更安全的格式来替代Pickles。
-
模型的访问控制至关重要，需防止恶意请求和数据泄露。
-
反馈机制可能被攻击者利用，导致模型性能下降。
-
代码的安全性可以通过静态扫描工具进行检测，但Notebook的安全性较难保证。
-
依赖关系可能引入风险，需对整个依赖树进行分析。
-
容器和基础设施的安全性也需加强，采用现有的DevOps工具进行扫描。
-
LF AI正在努力建立机器学习系统的Top 10漏洞列表，以提高安全意识和最佳实践。
-
安全性不仅是技术问题，还涉及人类因素，需要加强意识和流程管理。
延伸解读
机器学习安全的重要性
机器学习安全（MLSecOps）在模型开发生命周期的每个环节都至关重要。Gonzalez-Martin强调，安全性不仅是技术问题，还涉及人类因素。随着机器学习应用的普及，忽视安全可能导致严重后果，因此在开发过程中应始终考虑潜在的攻击面。
借鉴DevOps的最佳实践
文章提到，借鉴DevOps中的OWASP Top 10等最佳实践，可以为机器学习安全建立标准。这种方法不仅能提高安全意识，还能帮助开发者识别和缓解潜在的安全风险。通过实施类似的标准，机器学习系统的安全性将得到显著提升。
Pickles的安全隐患
Pickles作为Python的序列化格式，存在安全隐患，可能被攻击者利用。文章建议使用更安全的格式如ONNX来替代Pickles，以降低被攻击的风险。开发者在选择序列化格式时，应充分考虑安全性，以保护模型和数据。
模型访问控制的必要性
模型的访问控制至关重要，需防止恶意请求和数据泄露。文章指出，攻击者可能通过访问模型的API进行攻击，因此在设计模型时，必须确保只有授权用户才能访问相关资源，以降低潜在的安全风险。
延伸问答
机器学习安全（MLSecOps）是什么？
机器学习安全（MLSecOps）是MLOps的延伸，旨在识别和减轻机器学习模型开发生命周期中的安全漏洞。
如何减轻机器学习系统中的安全风险？
可以借鉴DevOps的最佳实践，如建立OWASP Top 10漏洞列表，实施安全标准和流程管理。
Pickles格式在机器学习中存在哪些安全隐患？
Pickles格式可能被攻击者利用，因为它在加载时会执行序列化的代码，存在执行恶意代码的风险。
机器学习模型的访问控制有多重要？
模型的访问控制至关重要，需防止恶意请求和数据泄露，以保护模型的完整性和安全性。
如何检测机器学习模型的攻击？
可以使用工具如Alibi Detect来检测与训练数据集显著不同的请求，从而识别潜在攻击。
机器学习系统中依赖关系的风险是什么？
依赖关系可能引入风险，尤其是整个依赖树中的子依赖，可能存在未被发现的漏洞。
