手把手教你从零搭建自己的知识库
💡
原文中文，约8500字，阅读约需21分钟。
📝
内容提要
LLM + Fine-tune和LLM + 外挂知识库是目前的方案选择。文章介绍了使用Word2Vec进行知识库训练和应用的方法，包括安装Python环境和相关依赖库。Word2Vec是一种处理自然语言的模型，通过训练文本数据将单词转换为向量表示。还介绍了其他词向量模型如GloVe、FastText、ELMo和BERT。文章还提到了数据处理、模型训练和使用词向量的方法。最后介绍了向量相似度计算和知识库检索的方法，以及一些主流的向量数据库。模型部署和使用的参考链接也提供了。
🎯
关键要点
- 目前的方案选择包括LLM + Fine-tune和LLM + 外挂知识库。
- Word2Vec是一种将单词转换为向量表示的自然语言处理模型。
- Word2Vec模型包括Skip-Gram和CBOW两种模型，通过优化计算词与词之间的关系。
- 其他词向量模型包括GloVe、FastText、ELMo和BERT，各有不同的特点和应用场景。
- 数据处理包括过滤中文、简化中文、中文分词和除去停用词。
- 模型训练可以在本地进行，使用Word2Vec生成词向量。
- 句向量生成可以通过平均值、TF-IDF加权平均、Doc2Vec或神经网络等方法实现。
- 向量相似度计算通常使用余弦相似度来衡量两个向量的相似性。
- 知识库检索流程包括将文档转为文本格式、向量化和相似性检索。
- 向量数据库用于存储和检索向量嵌入，主流的向量数据库包括Pinecone、Weaviate、Redis、Qdrant和Milvus。
- 知识库持久化需要借助向量数据库来存储向量化的文档。
- ChatGLM大模型的部署需要创建虚拟环境、安装依赖和下载模型文件。
➡️
