亚马逊AWS官方博客
·
基于 RDS 和 Confluence 数据源构建端到端的检索增强生成（RAG）应用
内容提要
本文介绍了如何利用大语言模型构建企业级知识库问答机器人，并提供了一个 RAG Demo 应用。文章还介绍了三位 AWS 解决方案架构师的背景和工作职责。
关键要点
-
企业级知识库的需求普遍存在，大语言模型为其带来了新可能性。
-
RAG的核心是使用Embedding模型将企业知识构建成向量数据库。
-
用户在实施RAG应用时主要需求包括对企业级数据源的支持和构建数据Pipeline。
-
提供了一个端到端的RAG Demo应用，展示如何利用亚马逊云科技的服务。
-
数据获取支持读取Confluence和Amazon RDS中的数据，相关token信息存储在Amazon Secret Manager中。
-
数据存储通过Glue实现，最终存储在S3中，Confluence元数据存储在DynamoDB中。
-
数据同步Pipeline自动触发，将数据向量化后写入OpenSearch。
-
Confluence作为内容管理工具，存储企业内部信息，需要开发工作量来获取和处理内容。
-
获取Confluence账号信息并存储到Secrets Manager中，首次获取数据后写入S3。
-
定期获取Confluence新增和更新页面的数据，更新DynamoDB和S3中的内容。
-
Amazon RDS中的结构化数据也可以处理后导入知识库，支持智能问答。
-
Glue Studio提供基于UI的方式构建RDS数据同步流水线，处理数据后导入S3。
-
构建S3 > Lambda > Glue的Pipeline进行数据的Embedding处理。
-
使用Lambda触发Glue任务，处理上传的文件并进行数据处理。
-
Glue Job对Confluence和RDS数据进行Embedding处理，写入向量数据库。
-
Demo演示了如何利用处理好的数据进行问题测试，展示知识库机器人的回答能力。
-
总结了企业级用户的需求，提供了数据获取、处理、向量化和自动化Pipeline的解决方案。
