02. 语义分块RAG(Semantic Chunking RAG)
方法简介
语义分块RAG通过计算句子间的语义相似度来智能分块,而不是简单的固定长度分块。它使用百分位数、标准差或四分位距等方法找到语义断点,将文本分割成语义连贯的块,提升检索精度。
核心代码
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
...
语义分块RAG方法通过计算句子间的语义相似度进行智能分块,从而提高检索精度。该方法利用百分位数等技术识别语义断点,将文本划分为连贯的块,并支持多种断点检测方式。