Gülçin Yıldırım Jelínek：使用Postgres和pgvector构建RAG应用程序
内容提要
本文讨论使用Postgres和pgvector构建RAG（检索增强生成）应用程序。RAG将语言生成模型与检索方法相结合，以提高生成文本的质量。该应用程序的动机是将领域特定知识融入到聊天机器人式应用程序中。RAG应用程序的局限性包括在CPU上运行大型语言模型、固定的令牌限制和扩展挑战。RAG应用程序的流程包括数据处理、嵌入模型、用户查询、检索相关部分、创建组合提示、发送提示到聊天模型和提供答案。本文还提供了创建数据库、导入数据和启动聊天功能的代码示例。
延伸解读
本地部署的权衡
文章提到，出于数据隐私考虑，用户倾向于本地部署LLM，避免将数据发送到外部API。但本地运行LLM面临挑战：大多数模型针对GPU优化，在CPU上运行困难；开发测试受限于笔记本电脑的内存和CPU；GPU实例成本高昂。因此，选择本地部署需要在隐私、成本和性能之间做出权衡。
检索机制的关键参数
在RAG流程中，检索相关文档片段是关键步骤。文章中的get_retrieval_condition函数使用余弦相似度（<=>操作符）和阈值（默认0.7）来筛选相关嵌入。阈值越低，匹配要求越严格。检索结果按相似度排序，并限制返回前5个片段。这一机制直接影响生成答案的准确性和相关性。
当前实现的局限
文章指出，该应用目前仅测试了单个PDF文档，处理多个PDF的能力还需完善。此外，应用没有用户身份识别机制，无法根据用户角色或权限来限制检索范围。未来改进方向包括开发用户界面、自动化实例设置、支持多PDF以及基于角色的访问控制。
pgvector只是拼图一角
文章总结认为，仅用Postgres和pgvector构建RAG应用是可行的，但pgvector只是完整AI应用的一部分。虽然Postgres和pgvector能作为向量数据库使用，但完整的AI应用还需要更多组件，如用户界面、自动化部署、多文档处理等。这提醒开发者不要低估构建生产级RAG系统的复杂性。
Q&A
什么是RAG应用程序，它的主要功能是什么？
RAG（检索增强生成）应用程序结合了语言生成模型和检索方法，以提高生成文本的质量，特别适用于问答、摘要和对话创建等任务。
构建RAG应用程序的主要步骤有哪些？
构建RAG应用程序的主要步骤包括数据处理、嵌入模型、用户查询、检索相关部分、创建组合提示、发送提示到聊天模型和提供答案。
RAG应用程序的局限性是什么？
RAG应用程序的局限性包括在CPU上运行大型语言模型的挑战、固定的令牌限制和扩展困难。
用户在RAG应用程序中希望集成哪些类型的数据源？
用户希望将不同类型的数据源，如Jira、Github问题、Confluence文档、博客文章、内部培训材料和PDF文档，注入到RAG应用程序中。
使用Postgres和pgvector构建RAG应用程序的动机是什么？
动机是将领域特定知识融入聊天机器人式应用程序，并满足用户对数据隐私的关注，倾向于本地部署以避免将数据发送到外部API。
未来对RAG应用程序的改进方向有哪些？
未来的改进包括开发用户界面、自动化实例设置和处理多个PDF文档的能力。
