DEV Community
·
使用.NET摄取文档构建简单的检索增强生成（RAG）系统
内容提要
本文介绍了如何使用.NET Semantic Kernel和Qdrant处理Markdown文档，包括文档分割、生成嵌入和向量存储管理。示例中使用LangChain .NET进行文本分割，并展示了如何查看处理结果和指标。最终用户可通过Aspire Dashboard获取相关信息。
关键要点
-
本文介绍如何使用.NET Semantic Kernel和Qdrant处理Markdown文档。
-
使用LangChain .NET进行文本分割，展示处理结果和指标。
-
示例中使用GitIngest UI生成的文件，包含多个Markdown和YAML文件。
-
文档分割过程将文件内容分为文件名和内容对。
-
使用LangChain .NET的MarkdownHeaderTextSplitter和CharacterTextSplitter进行内容分块。
-
通过Semantic Kernel生成文本块的嵌入。
-
插入向量到向量存储，确保集合存在并使用正确的维度。
-
使用自定义映射器将.NET类映射到向量存储文档。
-
在Aspire Dashboard上查看处理的指标和结果。
-
提供了克隆仓库和运行Aspire项目的步骤以进行测试。
延伸问答
如何使用.NET处理Markdown文档？
可以使用.NET Semantic Kernel和Qdrant来处理Markdown文档，结合LangChain .NET进行文本分割和嵌入生成。
文档分割的具体步骤是什么？
文档分割步骤包括将文件内容分为文件名和内容对，使用MarkdownHeaderTextSplitter和CharacterTextSplitter进行内容分块。
如何生成文本块的嵌入？
通过Semantic Kernel生成文本块的嵌入，使用ITextEmbeddingGenerationService计算嵌入。
Aspire Dashboard可以查看哪些信息？
Aspire Dashboard可以查看处理的指标和结果，包括自定义的性能指标。
如何将向量插入到向量存储中？
插入向量的过程包括确保集合存在、使用正确的维度，并将向量映射到向量存储文档。
如何测试和运行Aspire项目？
克隆仓库，使用http-ollama-local配置，运行Aspire项目，并执行特定的HTTP调用进行测试。
