ARTHURCHIAO'S BLOG
·
大模型 RAG 基础：信息检索、文本向量化及 BGE-M3 embedding 实践（2024）
💡
原文中文，约8800字，阅读约需21分钟。
📝
内容提要
本文介绍了RAG技术的基础，包括文本向量化和信息检索。BERT是一种基于transformer的预训练语言模型，能够生成dense embedding。BGE-M3是一种结合了传统sparse embedding和dense embedding优点的学习型embedding。文章还介绍了BGE-M3的工作原理和实战应用。
🎯
关键要点
- RAG（检索增强生成）是一种利用信息检索技术增强大模型生成效果的技术。
- 信息检索技术发展分为三个阶段：基于统计信息的关键字匹配、基于深度学习的上下文和语义理解、学习型稀疏嵌入。
- 基于统计信息的关键字匹配方法简单，但不理解语义，主要算法包括TF-IDF和BM25。
- Word2Vec和BERT是基于深度学习的嵌入技术，BERT通过双向transformer捕获上下文语义。
- 学习型稀疏嵌入结合了传统稀疏嵌入和深度学习的优点，能够保留关键词搜索能力并利用上下文信息。
- BGE-M3是基于BERT的学习型稀疏嵌入模型，具有多功能性、多语言性和多粒度特性。
- BGE-M3通过精细的方法捕捉每个token的重要性，生成稀疏嵌入。
- BGE-M3的实战应用包括相似度判断和精调，能够提高模型的检索效果。
- 将BGE-M3模型转为onnx格式可以优化CPU运行速度。
➡️
