LumberChunker: 长篇叙述文档切割
原文中文，约200字，阅读约需1分钟。发表于：。利用 LumberChunker 方法切割文档，以动态地对文档进行分割，通过将其整合到 RAG 管道中，证明了在检索性能和效果上优于其他切割方法和竞争基准的竞争基准。
该文章讨论了基于Transformer的架构在自然语言处理中的输入大小限制问题，并提出了一种解决方案。通过将长文档分块并保持全局上下文，以查询定义话题，开发的系统使用预训练的BERT模型来估计给定文本跨度形成关键短语的概率。实验结果表明，在长文档上，使用查询的较短上下文大小胜过没有查询的较长上下文。
