洞见RSAC 2024｜AI安全分析与挑战
内容提要
随着人工智能技术的发展，AI系统的安全性问题日益凸显。本文分析了人工智能面临的主要安全挑战，如对抗机器学习和大型语言模型的安全风险。文章提出了应对措施，包括深入理解模型、全面安全测试和持续参数调整。同时，文章还介绍了大型语言模型的特点和不足之处，以及企业中chatgpt系统、AI辅助系统和模型微调等领域的安全风险。作者强调了加强AI系统防御能力的重要性。
延伸解读
对抗机器学习：AI系统的根本性脆弱
文章指出，对抗机器学习通过寻找决策边界交叉方向攻击ML系统，包括推断攻击、训练数据污染、数据泄露和模型窃取。这些攻击利用AI数学基础的脆弱性，且具有可转移性，难以预测。对于企业而言，忽视这些风险可能导致重大损失，因此需要在AI系统开发中融入威胁建模和安全架构审查，而非事后补救。
LLMs的指令与数据混淆：安全漏洞的根源
大型语言模型（LLMs）处理序列输入，具有自回归特性，但可能无法准确区分指令和数据。这导致提示注入攻击可以操纵模型行为，生成非预期输出。高级注入攻击甚至利用模型预测机制，将输出推向异常概率空间。防御此类攻击需改进输入验证、行为分析和模型强化，并采用先进监控机制。
模型幻觉：虚假信息的风险与分类
模型幻觉分为事实性幻觉和忠实幻觉性。事实性幻觉包括事实不一致和事实捏造，可能助长虚假新闻传播；忠实幻觉性包括指令不一致、上下文不一致和逻辑不一致，导致输出偏离用户指令或逻辑错误。这些幻觉可能误导决策，破坏信息真实性，因此需要持续监控和校正模型输出。
企业AI应用中的安全挑战与应对
企业中的ChatGPT系统、AI辅助系统、RAG、模型微调和Agents均面临安全风险，如数据泄露、恶意代码建议、向量数据库投毒和权限滥用。模型微调可能忘记保护措施且缺乏撤销机制。文章建议通过红队测试、安全微调和AI优先威胁建模来增强防御，确保AI系统在企业自动化中的可靠性和安全性。
Q&A
人工智能系统面临哪些主要安全挑战？
人工智能系统面临的主要安全挑战包括对抗机器学习、训练数据污染、数据泄露和模型窃取等风险。
大型语言模型（LLMs）有哪些特点？
LLMs处理序列输入，具有自回归特性，并在大量数据上进行训练以预测下一个令牌。
如何保障AI模型的安全性？
保障AI模型安全需深入理解模型、进行全面安全测试和持续参数调整。
Prompt注入攻击是什么？
Prompt注入攻击是通过精心设计的输入操纵模型，使其执行非预期行为或生成特定输出。
企业中使用ChatGPT系统存在哪些安全风险？
企业中使用ChatGPT系统的安全风险包括数据泄露、提供恶意代码建议和访问受限链接的风险。
模型微调时有哪些安全挑战？
模型微调时的安全挑战包括数据泄露、模型窃取风险和缺乏有效的撤销机制。
