Cloud Native Computing Foundation
·
Kubernetes上的大型语言模型（LLM）第一部分：理解威胁模型
内容提要
在运行大型语言模型（LLM）时，需关注安全风险，包括提示注入、敏感信息泄露、供应链风险和过度自主性。建议在应用层实施输入验证和输出过滤，并通过政策层管理这些风险，以确保模型行为符合安全标准。
关键要点
-
在运行大型语言模型（LLM）时，需要关注安全风险，包括提示注入、敏感信息泄露、供应链风险和过度自主性。
-
Kubernetes能够调度工作负载并保持隔离，但无法理解工作负载的具体行为，因此需要额外的控制措施。
-
OWASP为LLM建立了十大安全风险框架，包括提示注入、敏感信息泄露、供应链风险等。
-
提示注入是用户输入影响模型行为的风险，需要对输入进行验证。
-
敏感信息泄露是模型生成包含敏感数据的响应，需进行输出过滤。
-
供应链风险涉及使用未验证的模型或数据，需确保模型来源可追溯且未被篡改。
-
过度自主性是指模型被赋予过多权限，需遵循最小权限原则。
-
这些控制措施应在模型运行时之外进行，建议在模型前设置政策层来处理安全规则。
-
使用托管AI服务时，安全控制由提供商管理；在自有集群中需建立或采用政策层。
-
将介绍如何实现提示注入检测、输出过滤、模型白名单和工具限制等安全措施。
延伸解读
理解Kubernetes的局限性
虽然Kubernetes在调度和隔离工作负载方面表现出色，但它无法理解工作负载的具体行为。这意味着在运行大型语言模型（LLM）时，必须额外实施安全控制措施，以防止潜在的安全风险，如提示注入和敏感信息泄露。
OWASP LLM十大安全风险
OWASP为大型语言模型制定的十大安全风险框架提供了重要的参考，涵盖了从提示注入到过度自主性等多种风险。了解这些风险有助于开发者在构建LLM系统时采取适当的防护措施，确保系统的安全性和可靠性。
政策层的重要性
在运行LLM时，建议在模型前设置政策层来处理安全规则。这一层不仅可以过滤输入和输出，还能管理模型的权限，确保遵循最小权限原则，从而降低安全风险。
延伸问答
在Kubernetes上运行大型语言模型时需要关注哪些安全风险？
需要关注提示注入、敏感信息泄露、供应链风险和过度自主性等安全风险。
什么是提示注入，为什么它是一个风险？
提示注入是指用户输入影响模型行为的风险，类似于SQL注入，可能导致模型执行不安全的操作。
如何防止敏感信息泄露？
需要对模型的输出进行过滤，以防止生成包含敏感数据的响应。
供应链风险在LLM中如何表现？
供应链风险涉及使用未验证的模型或数据，可能导致模型被篡改或包含后门。
过度自主性对大型语言模型有什么影响？
过度自主性指模型被赋予过多权限，可能导致不受控的操作，因此需要遵循最小权限原则。
在Kubernetes中如何实现安全控制？
建议在模型前设置政策层来处理安全规则，确保输入验证和输出过滤等控制措施。
