亚马逊AWS官方博客
·
使用亚马逊云构建企业智能知识问答助手第二篇 之 提升问答准确率的优化实践
💡
原文中文，约10300字，阅读约需25分钟。
📝
内容提要
本文介绍了企业智能知识问答助手的开发案例，通过关键词匹配、语义匹配和大语言模型的应用，问答准确率从不到30%提升到了80%以上。优化过程中采用了多种手段，如选择更佳的Embedding模型、合理拆分数据、多路召回扩大范围、微调Embedding模型等。同时，通过混合搜索和重排序提升搜索性能。优化数据质量的经验包括避免无内容页面、保持标题风格一致、使用markdown格式等。企业内部的智能知识问答系统提供了更智能、人性化的服务。
🎯
关键要点
- 企业智能知识问答助手的开发案例通过关键词匹配、语义匹配和大语言模型的应用，问答准确率从不到30%提升到了80%以上。
- 优化过程中采用了选择更佳的Embedding模型、合理拆分数据、多路召回扩大范围、微调Embedding模型等手段。
- 通过混合搜索和重排序提升搜索性能，避免无内容页面、保持标题风格一致、使用markdown格式等优化数据质量的经验。
- 项目经历了三个阶段：关键词匹配、基于BERT的语义匹配、融入大语言模型（LLM）。
- 提高召回精度的手段包括选择效果更佳的Embedding模型、合理的Chunk拆分和多路召回。
- 选择大语言模型时需考虑模型规模、预训练语料质量、评估方法及实际需求等因素。
- 最终选择了Mixtral-8x7B模型，因其在多语言支持、响应速度和开源许可等方面表现出色。
- 在部署大语言模型时，使用Amazon Sagemaker的LMI容器进行高性能推理。
- 优化数据质量的经验包括避免无内容页面、保持标题风格一致、分段方式统一等。
- 通过多方面的优化，LLM知识问答系统的整体准确率显著提升，为企业内部应用提供了更智能、人性化的服务。
➡️
