【全文检索引擎】IndexWriter 与 NRT：从缓冲到可打开的 Reader
内容提要
本文讨论了Lucene中的近实时搜索（NRT）机制，重点介绍了IndexWriter的文档缓冲、flush和Segment管理。文档通过addDocument进入RAM缓冲，flush后生成不可变Segment，查询时可通过DirectoryReader.open(IndexWriter)访问已flush的文档。NRT允许在未commit的情况下进行搜索，并强调flush与refresh的区别，以及Elasticsearch在此基础上的实现。
关键要点
-
Lucene中的近实时搜索（NRT）机制允许在未commit的情况下进行搜索。
-
文档通过addDocument进入RAM缓冲，flush后生成不可变Segment。
-
查询时可通过DirectoryReader.open(IndexWriter)访问已flush的文档。
-
flush与commit的区别在于，flush产生新Segment，而commit则持久化提交点。
-
NRT搜索依赖flush，不依赖commit。
-
Segment一旦flush完成，其内容不可修改，docID从0递增分配。
-
Elasticsearch在Lucene的基础上实现了分片与translog的机制。
-
NRT的API语义允许在查询时使用未commit的已flush段。
-
频繁的refresh会增加CPU与文件缓存成本，可能导致查询性能下降。
延伸解读
NRT机制的优势与应用
近实时搜索（NRT）机制使得在未commit的情况下也能进行搜索，这对于需要快速响应的应用场景尤为重要。NRT允许开发者在文档被添加后立即进行查询，提升了用户体验，尤其是在实时数据处理和搜索引擎中。
flush与commit的区别
flush操作生成不可变的Segment，使得已flush的文档可以被查询，而commit则是将这些Segment持久化到磁盘。理解这两者的区别对于优化搜索性能至关重要，频繁的commit可能导致性能下降，因此在设计系统时应合理安排flush与commit的频率。
Elasticsearch与Lucene的对比
Elasticsearch在Lucene的基础上实现了分片和translog机制，提供了更高层次的可用性和容错能力。理解Lucene的NRT机制与Elasticsearch的refresh机制之间的差异，有助于开发者在选择技术栈时做出更明智的决策，尤其是在处理大规模数据时。
延伸问答
Lucene中的近实时搜索（NRT）是什么？
NRT允许在未commit的情况下进行搜索，文档通过addDocument进入RAM缓冲，flush后生成不可变Segment。
IndexWriter的flush和commit有什么区别？
flush产生新Segment，而commit则持久化提交点，flush不需要commit即可进行搜索。
如何通过DirectoryReader访问已flush的文档？
可以通过DirectoryReader.open(IndexWriter)访问已flush的文档，允许查询未commit的已flush段。
频繁的refresh会对查询性能产生什么影响？
频繁的refresh会增加CPU与文件缓存成本，可能导致查询性能下降。
Elasticsearch是如何实现NRT的？
Elasticsearch在Lucene的基础上实现了分片与translog机制，支持近实时搜索。
如何优化IndexWriter的缓冲设置？
可以通过调整RAMBufferSizeMB和maxBufferedDocs来优化缓冲设置，以平衡flush频率和查询性能。
