本研究探讨了增强检索生成（RAG）中管理外部知识的挑战，提出了晚分块和上下文检索两种分块技术。结果表明，上下文检索在语义连贯性上表现更佳，但计算资源需求较高；而晚分块效率更高，但可能影响相关性和完整性。
文章讨论了文档分块中的断点选择和上下文丢失问题。传统方法在分块后嵌入，导致上下文丢失。晚分块方法先编码整个文档，再根据断点进行均值池化，保留全局上下文。实验显示，晚分块对断点不敏感，性能优于传统方法，无需额外训练，适合长上下文嵌入，比使用LLM更高效。
完成下面两步后，将自动完成登录并继续当前操作。
