使用亚马逊云构建企业智能知识问答助手第二篇 之 提升问答准确率的优化实践
原文中文，约10300字，阅读约需25分钟。
📝
内容提要
本文介绍了企业智能知识问答助手的开发案例，通过关键词匹配、语义匹配和大语言模型的应用，问答准确率从不到30%提升到了80%以上。优化过程中采用了多种手段，如选择更佳的Embedding模型、合理拆分数据、多路召回扩大范围、微调Embedding模型等。同时，通过混合搜索和重排序提升搜索性能。优化数据质量的经验包括避免无内容页面、保持标题风格一致、使用markdown格式等。企业内部的智能知识问答系统提供了更智能、人性化的服务。
❓
Q&A
如何提高企业智能知识问答助手的问答准确率？
通过选择更佳的Embedding模型、合理拆分数据、多路召回、微调Embedding模型等手段，问答准确率从不到30%提升至80%以上。
选择大语言模型时需要考虑哪些因素？
需要考虑模型规模、预训练语料质量、评估方法及实际需求等因素。
在优化数据质量方面有哪些经验？
避免无内容页面、保持标题风格一致、使用markdown格式等。
项目中使用了哪些模型来提升问答系统的性能？
项目中使用了BGE系列Embedding模型和Mixtral-8x7B大语言模型。
如何实现混合搜索以提升搜索性能？
将传统的BM25算法与向量相似性检索结合，实现混合搜索。
项目组在问答系统中遇到的主要挑战是什么？
主要挑战包括召回精度不够、LLM输出结果不理想和数据质量不佳。
🏷️
