内容提要
西班牙保险公司Santalucía Seguros使用基于GenAI的虚拟助手提高客户服务和代理人生产力。虚拟助手在Microsoft Teams中回答代理人的问题,基于Santalucía的高级分析平台,使用Databricks和Microsoft Azure提供的灵活性和安全性。通过持续更新文档,实现快速搜索和检索信息。使用Databricks Data Intelligence Platform中的RAG工具确保发布始终具有最新数据。Mosaic AI Model Serving和LLM提高了虚拟助手的质量和性能。
延伸解读
RAG架构如何兼顾灵活性与安全
Santalucía的虚拟助手基于RAG框架,运行在由Databricks和Microsoft Azure支持的高级分析平台上。该架构支持持续将最新文档摄入基于嵌入的向量存储,实现快速搜索和检索。同时,平台提供隐私、安全和可扩展性,确保数据和模型受控。这种设计让保险公司能在不牺牲安全的前提下,灵活应对文档更新和业务变化。
Mosaic AI Model Serving简化LLM集成
Mosaic AI Model Serving帮助Santalucía轻松集成外部LLM(如GPT-4或Databricks Marketplace中的模型),并统一管理配置、凭证和权限。通过REST API提供抽象层,开发团队无需单独对接第三方API,即可添加新模型。凭证保存在Azure Key Vault,并通过CI/CD管道部署,从而有效管理令牌消耗和安全访问。
LLM作为评审在发布前把关质量
Santalucía在CI/CD管道中引入高容量LLM作为评审,基于人工验证的基准问题集,对虚拟助手的回答进行准确性、相关性和连贯性评分。每次摄入新文档或调整提示词后,系统自动评估回答质量,无需等待用户反馈。这能及时发现变更对已有版本的影响,确保发布质量稳定,并随基准集扩大而提升模型鲁棒性。
Q&A
Santalucía Seguros是如何提高客户服务的?
Santalucía Seguros通过实施基于GenAI的虚拟助手,在Microsoft Teams中提供24/7实时支持,快速回答代理人关于产品和程序的问题,从而提高客户服务。
虚拟助手的架构是基于什么框架的?
虚拟助手的架构基于RAG框架,运行在Santalucía的高级分析平台上,利用Databricks和Microsoft Azure提供的灵活性和安全性。
Mosaic AI Model Serving的作用是什么?
Mosaic AI Model Serving简化了外部LLM的集成,管理配置和权限,使开发团队能够通过REST API统一访问不同的模型。
如何确保虚拟助手的回答质量?
通过在CI/CD管道中使用高容量LLM作为评估工具,建立基于真实问题的评估流程,确保虚拟助手的回答质量和准确性。
Santalucía Seguros如何处理新文档的持续更新?
Santalucía Seguros利用RAG系统持续更新文档,确保信息能够快速搜索和检索,保持虚拟助手的回答始终基于最新数据。
虚拟助手的实施对代理人工作有什么影响?
虚拟助手使代理人能够快速获取客户问题的答案,显著提高了工作效率和客户满意度,加速了产品销售。