使用开源工具和pgvector创建AI专家
内容提要
2023年是AI的一年，许多公司正在思考如何利用AI提高用户体验。本文将解释如何利用公司数据构建自己的AI专家。
延伸解读
模型选择需谨慎，更换成本高
文章强调，向量嵌入的维度由所选模型决定，例如UAE-Large-V1为1024维，OpenAI的text-embedding-ada-002为1535维。一旦开始使用某个模型生成嵌入并存入pgvector，后期更换模型就需要重新为所有数据生成嵌入，工作量巨大。因此，在项目初期就应仔细评估并选定合适的模型，避免中途更换带来的额外开销。
文本分块影响语义搜索效果
直接将整篇长文档转换为一个向量嵌入可能会损害语义搜索的准确性。文章建议将文本分割成较小的块，如段落、句子甚至单词，具体策略应取决于最终使用的生成模型和数据类型。例如，对于Markdown格式的文档，可以使用langchain的MarkdownTextSplitter来生成块。合理的分块能提升搜索时找到相关内容的精度。
GPU加速嵌入生成，但非必需
创建向量嵌入涉及大量并行计算，使用GPU可以显著提升速度。文章指出，虽然不使用GPU也能生成嵌入，但耗时可能增加10倍。对于需要处理大量公司文档的场景，建议使用配备GPU的机器，并安装相应的Nvidia驱动和CUDA。不过，如果数据量较小或对实时性要求不高，CPU也能完成任务，只是效率较低。
开源方案可无缝切换至付费API
文章刻意选用开源工具（如Hugging Face的模型和pgvector）来构建AI专家，以便读者免费尝试并理解底层原理。同时，代码结构允许轻松替换为付费API，例如将嵌入生成函数中的模型调用改为OpenAI的Embedding接口。这种设计提供了灵活性，团队可以根据实际需求和预算，在开源与商业服务之间平滑迁移。
Q&A
如何用公司内部数据构建一个AI专家系统？
构建步骤包括：1. 准备基础设施（如PostgreSQL和pgvector）；2. 捕获公司数据（内部文档、工单等）并存储到PostgreSQL中；3. 将文本分割成小块并生成向量嵌入；4. 使用语义搜索找到相关内容；5. 将用户问题与上下文结合，通过LLM生成回答。
pgvector是什么，它在AI应用中有什么作用？
pgvector是PostgreSQL的一个扩展，允许存储向量嵌入。它使得在PostgreSQL中直接进行向量相似性搜索成为可能，适合构建AI应用，因为团队无需学习新技术或更换数据库。
向量嵌入是什么，为什么需要它？
向量嵌入是数据的数值表示，能够捕捉其含义和关系。通过将文本转换为向量，可以计算相似度（如余弦距离），从而实现语义搜索。它是AI理解自然语言的基础。
在pgvector中如何计算向量相似度？
pgvector提供了三种相似度计算操作符：<->（欧几里得距离）、<#>（负内积）和<=>（余弦距离）。余弦距离是最常用的，通过计算向量间的角度来评估相似性。
为什么建议将文本分割成小块再生成嵌入？
将大文本分割成小块（如段落、句子）可以提高语义搜索的效果。因为过大的文本块可能包含多个主题，导致嵌入表示不够精确，影响搜索相关性。
使用开源工具构建AI专家有哪些优势？
开源工具可以免费使用，允许任何人尝试和修改代码，并且可以轻松转换为付费API（如OpenAI）。此外，使用pgvector等开源工具可以复用现有的PostgreSQL技术栈，降低学习成本。
在实际应用中，如何提高AI回答的准确性？
建议在实际应用中对模型进行训练，使用公司数据微调模型，以提高回答的准确性。示例中未进行训练，仅用于演示，真实场景下训练是必要的。
