💡
原文英文，约600词，阅读约需2分钟。
📝
内容提要
Uber创建了GenAI Gateway平台，整合外部和自托管的大型语言模型，简化团队集成，支持60多种应用。平台提供身份验证、缓存等功能，解决PII问题，并通过标准化审核确保数据处理合规。案例显示，LLM提高了客服效率，计划扩展应用范围，并改进缓存和安全策略。
🎯
关键要点
- Uber创建了GenAI Gateway平台，整合外部和自托管的大型语言模型（LLMs），简化团队集成，支持60多种应用。
- GenAI Gateway提供一致高效的接口，旨在简化团队在项目中利用LLMs的集成过程。
- 平台采用OpenAI API，利用开源库如LangChain和LlamaIndex，简化入门流程。
- GenAI Gateway是一个Go服务，结合了外部和内部LLMs，提供身份验证、账户管理、缓存和监控等功能。
- 平台支持个人可识别信息（PII）减少，确保在转发请求给第三方供应商之前对PII数据进行匿名化。
- 案例研究显示，使用LLMs为客服代理生成聊天摘要，提高了操作效率，减少了用户查询处理时间。
- 团队计划进一步改进GenAI Gateway，包括智能LLM缓存机制、更好的后备逻辑、幻觉检测和安全政策保障。
❓
延伸问答
GenAI Gateway的主要功能是什么？
GenAI Gateway整合外部和自托管的大型语言模型，提供一致高效的接口，支持60多种应用场景。
Uber为什么选择使用OpenAI API？
Uber选择使用OpenAI API是因为其广泛的采用和可用的开源库，如LangChain和LlamaIndex，简化了入门流程。
GenAI Gateway如何处理个人可识别信息（PII）？
GenAI Gateway在转发请求给第三方供应商之前，会对PII数据进行匿名化，以避免暴露敏感信息。
使用LLM对客服效率的影响是什么？
使用LLM为客服代理生成聊天摘要，97%的摘要被认为有用，并减少了用户查询处理时间约六秒。
GenAI Gateway的未来计划有哪些？
团队计划进一步改进GenAI Gateway，包括智能LLM缓存机制、更好的后备逻辑、幻觉检测和安全政策保障。
GenAI Gateway如何简化团队的集成过程？
GenAI Gateway提供简单的入门流程和标准化审核，减少团队在项目中利用LLMs的集成工作量。
➡️
