【全文检索引擎】MergePolicy 与删除：段合并与 liveDocs
内容提要
本文讨论了Lucene的TieredMergePolicy及其在段合并中的作用。Lucene段文件不可原地更新，删除文档通过liveDocs标记为“死”，物理空间回收需待合并。TieredMergePolicy通过分层合并段，平衡写放大与查询性能。整体上，删除与合并策略影响存储效率与查询性能。
关键要点
-
Lucene 段文件在 flush 后不可原地更新，删除文档通过 liveDocs 标记为“死”，物理空间回收需待合并。
-
TieredMergePolicy 通过分层合并段，平衡写放大与查询性能，避免大量小段导致的性能问题。
-
删除操作在逻辑上立即可见，但物理空间的回收要等到合并后才能实现。
-
TieredMergePolicy 的参数设置影响合并策略，包括单段大小上限、每层段数限制等。
-
软删除允许在合并时选择保留被软删的文档，以满足版本化和审计需求。
-
force merge 是一种重操作，适用于只读索引的整理，但不应替代日常的删除与合并。
-
合并过程中的资源争用可能导致写入延迟，需合理监控和调整合并策略。
延伸解读
段合并的重要性
Lucene的段合并策略直接影响查询性能和存储效率。通过TieredMergePolicy，Lucene能够有效管理段的数量，避免因小段过多而导致的性能下降。合理的合并策略可以在写入和查询之间找到平衡，确保系统在高负载下仍能保持良好的响应速度。
删除操作的延迟回收
在Lucene中，删除操作并不会立即释放物理空间，而是通过liveDocs标记为逻辑删除，实际的空间回收需要等到合并后才能实现。这种设计虽然提高了查询的即时性，但也可能导致磁盘空间的浪费，运维人员需定期监控deleted docs的比例，以决定何时进行合并。
软删除的应用场景
软删除功能允许在合并时选择保留被标记为删除的文档，这对于需要版本控制和审计的场景非常有用。通过合理配置软删除策略，用户可以在不影响查询性能的前提下，保留历史数据，满足合规性要求。
延伸问答
Lucene中的段文件为什么不能原地更新？
Lucene的段文件在flush后不可原地更新，删除文档通过liveDocs标记为“死”，物理空间回收需待合并。
TieredMergePolicy的主要作用是什么？
TieredMergePolicy通过分层合并段，平衡写放大与查询性能，避免大量小段导致的性能问题。
什么是软删除，Lucene是如何实现的？
软删除是指通过liveDocs标记文档为“死”，在合并时可选择保留被软删的文档，以满足版本化和审计需求。
force merge的适用场景有哪些？
force merge适用于只读索引的整理、批量导入后的压段优化查询，以及重大版本迁移后的段整理。
删除操作在Lucene中是如何影响查询的？
删除操作在逻辑上立即可见，但物理空间的回收要等到合并后才能实现，查询时会跳过标记为“死”的文档。
如何监控Lucene的合并和删除操作？
可以通过监控段数量、deleted占比和merge线程状态等信号，判断合并和删除操作的效率。
