InfoQ
·
谷歌Apigee通过Model Armor增加内置LLM治理功能
内容提要
谷歌云推出了Model Armor，这是一个集成在Apigee API管理平台中的LLM治理框架，自动执行提示验证和输出过滤等政策。它在Apigee的代理层操作，支持多种LLM提供商，并与Google Kubernetes Engine集成，增强安全监控和治理能力。
关键要点
-
谷歌云推出了Model Armor，这是一个集成在Apigee API管理平台中的LLM治理框架。
-
Model Armor自动执行提示验证、输出过滤和令牌级控制等政策。
-
该框架在Apigee的代理层直接操作，支持多种LLM提供商。
-
Model Armor能够检测越狱尝试、提示注入和个人身份信息的暴露等问题。
-
政策执行使用Apigee的基于XML的政策语言，便于团队将LLM安全规则集成到现有API中。
-
提供了实践教程，涵盖提示检查、令牌配额和与Vertex AI的集成。
-
Model Armor与Google Kubernetes Engine和安全指挥中心集成，增强了安全监控和治理能力。
-
该框架记录每次政策评估的详细元数据，支持监控和异常检测。
-
Model Armor旨在简化LLM特定政策的本地执行，消除使用自定义中间件的复杂性。
延伸解读
LLM治理的重要性
随着大型语言模型（LLM）在企业中的广泛应用，治理变得尤为重要。Model Armor提供的自动化政策执行，能够有效防止提示注入和敏感信息泄露等风险，确保企业在享受技术带来的便利时，能够维护数据安全和合规性。
与现有API的集成
Model Armor使用基于XML的政策语言，使得团队能够轻松将LLM安全规则集成到现有API中。这种无缝集成不仅提高了治理效率，还降低了实施复杂性，适合不同规模的企业使用。
多供应商支持的优势
Model Armor支持多种LLM提供商，包括Vertex AI和OpenAI等，这使得企业能够在多样化的技术环境中实现集中治理。这种灵活性有助于企业根据自身需求选择合适的模型，同时保持一致的安全标准。
延伸问答
Model Armor是什么？
Model Armor是谷歌云推出的集成在Apigee API管理平台中的LLM治理框架。
Model Armor如何增强API的安全性？
Model Armor通过自动执行提示验证、输出过滤和令牌级控制等政策，增强API的安全性。
Model Armor支持哪些LLM提供商？
Model Armor支持多个LLM提供商，包括Vertex AI、OpenAI、Anthropic等。
如何在Apigee中实施Model Armor的政策？
可以通过Apigee的XML政策语言将LLM安全规则集成到现有API中，并使用实践教程进行配置。
Model Armor如何处理安全违规？
Model Armor会在安全指挥中心中显示任何违规行为，提供集中监控和警报功能。
Model Armor与Google Kubernetes Engine的集成有什么好处？
与Google Kubernetes Engine的集成允许在推理网关或负载均衡器上直接部署Model Armor政策，增强安全监控能力。
