分块很难做到：RAG 应用中的分块策略

构建基于LLM的应用时，需要将LLM的响应与源数据结合。

检索增强生成（RAG）通过创建文本嵌入来实现这一目标。

数据分块（chunking）对搜索结果的相关性至关重要。

常见的分块策略包括固定大小、随机大小和上下文感知分块。

选择合适的分块方法需根据具体用例进行测试。

分块数据的大小会影响搜索结果的准确性。

过大的分块会导致向量失去特异性，过小的分块则会失去上下文。

使用元数据可以帮助过滤和链接内容。

固定大小分块适用于同质数据集，但可能忽略上下文。

随机大小分块可以捕捉多样的语义上下文，但可能导致无意义的分块。

滑动窗口方法可以更好地捕捉上下文，但需要更多存储空间。

上下文感知分块基于标点符号或标签进行分割，能提高语义相关性。

自适应分块根据内容动态调整分块大小，计算需求较高。

测试分块方法时，应根据样本查询评估结果。

分块只是生成AI技术的一部分，还需要LLM、向量数据库和存储。