Uber创建GenAI Gateway，镜像OpenAI API以支持60多种LLM应用场景
原文英文，约600词，阅读约需2分钟。
📝
内容提要
Uber创建了GenAI Gateway平台，整合外部和自托管的大型语言模型，简化团队集成，支持60多种应用。平台提供身份验证、缓存等功能，解决PII问题，并通过标准化审核确保数据处理合规。案例显示，LLM提高了客服效率，计划扩展应用范围，并改进缓存和安全策略。
❓
Q&A
GenAI Gateway的主要功能是什么？
GenAI Gateway整合外部和自托管的大型语言模型，提供一致高效的接口，支持60多种应用场景。
Uber为什么选择使用OpenAI API？
Uber选择使用OpenAI API是因为其广泛的采用和可用的开源库，如LangChain和LlamaIndex，简化了入门流程。
GenAI Gateway如何处理个人可识别信息（PII）？
GenAI Gateway在转发请求给第三方供应商之前，会对PII数据进行匿名化，以避免暴露敏感信息。
使用LLM对客服效率的影响是什么？
使用LLM为客服代理生成聊天摘要，97%的摘要被认为有用，并减少了用户查询处理时间约六秒。
GenAI Gateway的未来计划有哪些？
团队计划进一步改进GenAI Gateway，包括智能LLM缓存机制、更好的后备逻辑、幻觉检测和安全政策保障。
GenAI Gateway如何简化团队的集成过程？
GenAI Gateway提供简单的入门流程和标准化审核，减少团队在项目中利用LLMs的集成工作量。
🏷️
