亚马逊AWS官方博客
·
基于 LLM 构建企业专属用户助手：PingCAP 在 TiDB Bot 上的探索和实践
💡
原文中文，约3400字，阅读约需9分钟。
📝
内容提要
随着TiDB和TiDB Cloud的推广和应用，全球用户的技术支持变得越来越重要。使用LLM构建社区机器人来辅助完成社区支持工作。难点在于机器人如何准确回答关于TiDB和TiDB Cloud的问题，并将回答限制在这两个领域。使用LLM基于特定领域回答问题，使用RAG方法访问外部知识源，提高回答准确度。使用Few-Shot方式构建提示词进行毒性检测，避免越狱尝试。优化包括毒性识别、理解提问上下文、语义搜索结果不准确。持续优化TiDB Bot的准确度和回答效果。
🎯
关键要点
-
TiDB和TiDB Cloud的推广使全球用户技术支持变得重要。
-
希望使用LLM构建社区机器人来辅助社区支持工作。
-
超过50%的TiDB开源社区问题可以在官方文档中找到答案，但用户难以找到所需信息。
-
主要难点在于机器人如何准确回答TiDB和TiDB Cloud的问题，并限制回答范围。
-
使用RAG方法使LLM访问外部知识源，提高回答准确度。
-
在构建TiDB Bot时，使用Few-Shot方式进行毒性检测，避免越狱尝试。
-
毒性检测和执行流程中，判断用户提问是否符合预设范围。
-
TiDB Bot上线后，用户反馈不满意比例超过50%。
-
存在不准确的内容毒性识别和理解提问上下文的偏差问题。
-
语义搜索结果不准确，导致无法找到正确回答的文档内容。
-
TiDB Bot已在TiDB Cloud、Slack、Discord上线，面临准确性和毒性检测的挑战。
-
持续优化TiDB Bot是提升准确度和回答效果的关键。
➡️
