亚马逊AWS官方博客
·
基于 LLM 构建企业专属用户助手：PingCAP 在 TiDB Bot 上的探索和实践
内容提要
随着TiDB和TiDB Cloud的推广和应用，全球用户的技术支持变得越来越重要。使用LLM构建社区机器人来辅助完成社区支持工作。难点在于机器人如何准确回答关于TiDB和TiDB Cloud的问题，并将回答限制在这两个领域。使用LLM基于特定领域回答问题，使用RAG方法访问外部知识源，提高回答准确度。使用Few-Shot方式构建提示词进行毒性检测，避免越狱尝试。优化包括毒性识别、理解提问上下文、语义搜索结果不准确。持续优化TiDB Bot的准确度和回答效果。
关键要点
-
TiDB和TiDB Cloud的推广使全球用户技术支持变得重要。
-
希望使用LLM构建社区机器人来辅助社区支持工作。
-
超过50%的TiDB开源社区问题可以在官方文档中找到答案，但用户难以找到所需信息。
-
主要难点在于机器人如何准确回答TiDB和TiDB Cloud的问题，并限制回答范围。
-
使用RAG方法使LLM访问外部知识源，提高回答准确度。
-
在构建TiDB Bot时，使用Few-Shot方式进行毒性检测，避免越狱尝试。
-
毒性检测和执行流程中，判断用户提问是否符合预设范围。
-
TiDB Bot上线后，用户反馈不满意比例超过50%。
-
存在不准确的内容毒性识别和理解提问上下文的偏差问题。
-
语义搜索结果不准确，导致无法找到正确回答的文档内容。
-
TiDB Bot已在TiDB Cloud、Slack、Discord上线，面临准确性和毒性检测的挑战。
-
持续优化TiDB Bot是提升准确度和回答效果的关键。
延伸问答
TiDB Bot 的主要功能是什么？
TiDB Bot 旨在辅助完成 TiDB 和 TiDB Cloud 的社区支持工作，提供技术支持和解答用户问题。
使用 LLM 构建 TiDB Bot 面临哪些挑战？
主要挑战包括准确回答 TiDB 和 TiDB Cloud 的问题、限制回答范围以及毒性检测。
如何提高 TiDB Bot 的回答准确度？
通过使用 RAG 方法访问外部知识源，并结合用户提问的上下文来生成更准确的回答。
TiDB Bot 上线后的用户反馈如何？
上线后，超过 50% 的用户反馈不满意，主要集中在回答不准确和毒性识别问题上。
TiDB Bot 如何进行毒性检测？
使用 Few-Shot 方法构建提示词，帮助 LLM 判断用户提问是否符合预设的回答范围。
TiDB Bot 在哪些平台上线？
TiDB Bot 已在 TiDB Cloud、Slack 和 Discord 上线。
