InfoQ
·
谷歌Apigee通过Model Armor增加内置LLM治理功能
💡
原文英文，约500词，阅读约需2分钟。
📝
内容提要
谷歌云推出了Model Armor，这是一个集成在Apigee API管理平台中的LLM治理框架，自动执行提示验证和输出过滤等政策。它在Apigee的代理层操作，支持多种LLM提供商，并与Google Kubernetes Engine集成，增强安全监控和治理能力。
🎯
关键要点
- 谷歌云推出了Model Armor，这是一个集成在Apigee API管理平台中的LLM治理框架。
- Model Armor自动执行提示验证、输出过滤和令牌级控制等政策。
- 该框架在Apigee的代理层直接操作，支持多种LLM提供商。
- Model Armor能够检测越狱尝试、提示注入和个人身份信息的暴露等问题。
- 政策执行使用Apigee的基于XML的政策语言，便于团队将LLM安全规则集成到现有API中。
- 提供了实践教程，涵盖提示检查、令牌配额和与Vertex AI的集成。
- Model Armor与Google Kubernetes Engine和安全指挥中心集成，增强了安全监控和治理能力。
- 该框架记录每次政策评估的详细元数据，支持监控和异常检测。
- Model Armor旨在简化LLM特定政策的本地执行，消除使用自定义中间件的复杂性。
❓
延伸问答
Model Armor是什么？
Model Armor是谷歌云推出的集成在Apigee API管理平台中的LLM治理框架。
Model Armor如何增强API的安全性？
Model Armor通过自动执行提示验证、输出过滤和令牌级控制等政策，增强API的安全性。
Model Armor支持哪些LLM提供商？
Model Armor支持多个LLM提供商，包括Vertex AI、OpenAI、Anthropic等。
如何在Apigee中实施Model Armor的政策？
可以通过Apigee的XML政策语言将LLM安全规则集成到现有API中，并使用实践教程进行配置。
Model Armor如何处理安全违规？
Model Armor会在安全指挥中心中显示任何违规行为，提供集中监控和警报功能。
Model Armor与Google Kubernetes Engine的集成有什么好处？
与Google Kubernetes Engine的集成允许在推理网关或负载均衡器上直接部署Model Armor政策，增强安全监控能力。
➡️
