绿盟科技技术博客 ·

对抗式机器学习攻击与缓解措施分类及术语（下）

Q: 有哪些安全措施可以缓解对抗式机器学习攻击？

安全措施包括对抗训练和输入过滤等方法。

💡 原文中文，约22300字，阅读约需54分钟。

📝

内容提要

生成式AI技术包括生成式对抗网络和扩散模型，攻击可分为模型投毒和隐私泄露，分别发生在训练和推理阶段。攻击者通过控制训练数据和查询权限实施攻击。安全措施包括对抗训练和输入过滤。随着技术进步，安全问题日益严重，需加强防护。

🎯

关键要点

生成式AI包括生成式对抗网络、生成式预训练Transformer模型和扩散模型。
攻击可分为模型投毒和隐私泄露，分别发生在训练和推理阶段。
攻击者通过控制训练数据和查询权限实施攻击。
安全措施包括对抗训练和输入过滤。
随着技术进步，安全问题日益严重，需加强防护。
GenAI的模型开发与传统开发过程不同，需要在无监督学习的预训练阶段创建基础模型。
训练阶段攻击主要包括基础模型预训练和模型微调，易受到投毒攻击。
推理阶段攻击主要针对LLM，攻击者可利用数据通道进行推理阶段攻击。
攻击目的包括破坏可用性、完整性、隐私泄露和违法滥用。
攻击者需要具备训练数据控制、查询权限、源代码控制和资源控制等能力。
人工智能供应链攻击可通过供应链安保措施来缓解。
直接提示注入攻击可用于绕过安全措施，构造虚假信息等。
间接提示注入攻击通过控制资源影响系统操作，可能导致可用性、完整性和隐私泄露。
针对提示注入的防御策略包括对齐训练、提示指令和格式化技术、检测技术等。
规模挑战和对抗鲁棒性的理论限制是当前面临的主要问题。
开放与封闭模型的选择引发了关于安全性和可控性的讨论。
供应链挑战和可信AI的属性权衡是未来发展的重要考虑。

🔎

延伸解读

生成式AI的安全挑战

生成式AI技术的快速发展带来了新的安全挑战，尤其是在模型投毒和隐私泄露方面。攻击者可以通过控制训练数据和查询权限来实施攻击，这使得生成式AI系统面临更大的风险。随着技术的进步，攻击手段也在不断演变，开发者需要时刻关注这些变化，以便及时更新安全防护措施。

对抗训练的必要性

对抗训练作为一种安全措施，能够有效提高生成式AI模型的鲁棒性。通过在训练过程中引入对抗样本，模型可以学习到如何抵御潜在的攻击。然而，这种方法的实施成本较高，且并不能完全消除所有风险。因此，结合多种防护策略，形成多层次的安全防护体系显得尤为重要。

开放与封闭模型的安全性考量

开放模型虽然促进了技术的民主化和创新，但也带来了安全隐患。研究表明，开放模型更容易受到攻击，攻击者可以利用其漏洞进行恶意操作。因此，在选择使用开放或封闭模型时，开发者需要权衡安全性与可用性，确保在推动技术发展的同时，保护用户的隐私和数据安全。

❓

延伸问答

生成式AI的主要技术有哪些？

生成式AI主要包括生成式对抗网络、生成式预训练Transformer模型和扩散模型。

对抗式机器学习攻击的类型有哪些？

对抗式机器学习攻击主要分为模型投毒和隐私泄露，分别发生在训练和推理阶段。

攻击者如何实施模型投毒攻击？

攻击者通过控制训练数据，插入或篡改训练样本来实施模型投毒攻击。

有哪些安全措施可以缓解对抗式机器学习攻击？