使用亚马逊云构建企业智能知识问答助手第二篇 之 提升问答准确率的优化实践

企业智能知识问答助手的开发案例通过关键词匹配、语义匹配和大语言模型的应用，问答准确率从不到30%提升到了80%以上。

优化过程中采用了选择更佳的Embedding模型、合理拆分数据、多路召回扩大范围、微调Embedding模型等手段。

通过混合搜索和重排序提升搜索性能，避免无内容页面、保持标题风格一致、使用markdown格式等优化数据质量的经验。

项目经历了三个阶段：关键词匹配、基于BERT的语义匹配、融入大语言模型（LLM）。

提高召回精度的手段包括选择效果更佳的Embedding模型、合理的Chunk拆分和多路召回。

选择大语言模型时需考虑模型规模、预训练语料质量、评估方法及实际需求等因素。

最终选择了Mixtral-8x7B模型，因其在多语言支持、响应速度和开源许可等方面表现出色。

在部署大语言模型时，使用Amazon Sagemaker的LMI容器进行高性能推理。

优化数据质量的经验包括避免无内容页面、保持标题风格一致、分段方式统一等。

通过多方面的优化，LLM知识问答系统的整体准确率显著提升，为企业内部应用提供了更智能、人性化的服务。