如何通过网关降低大模型的调用费用，并提升合规性
💡
原文中文，约6100字，阅读约需15分钟。
📝
内容提要
Higress是一个插件，为企业应用开发领域提供认证鉴权、请求过滤、流量控制、用量监测和安全防护等功能，使企业与AI大模型的API交互更安全、可靠和可观察。它还可以无缝对接OpenAI大语言模型，通过WASM插件实现请求代理转发。企业可以使用Higress网关进行多租户认证和限制成员对AI模型的访问权限。商业版Higress还提供用量观测与分析功能，帮助组织了解API的使用情况。
🎯
关键要点
- Higress是一个插件，提供认证鉴权、请求过滤、流量控制、用量监测和安全防护等功能。
- Higress帮助企业与AI大模型的API交互更安全、可靠和可观察。
- Higress支持多租户认证，限制成员对AI模型的访问权限。
- 商业版Higress提供用量观测与分析功能，帮助组织了解API的使用情况。
- OpenAI的API计费基于每个请求的使用量，使用token作为计费标准。
- Higress通过统一的API密钥管理AI模型的调用量和付费。
- Higress提供流量控制能力，为不同模型与用户设置访问速率限制。
- Higress的请求拦截能力可以过滤含敏感信息的请求，保障数据安全。
- Higress支持基于WASM的AI代理插件，实现对OpenAI语言模型的请求代理转发。
- Key Auth插件实现基于API Key的认证和鉴权，支持多租户管理。
- Request Block插件提供请求拦截能力，防止敏感信息泄露。
- 商业版Higress与指标与日志系统深度集成，提供用量观测分析报告机制。
➡️
