【全文检索引擎】refresh · flush · translog：近实时与持久化边界
内容提要
本文探讨了Elasticsearch中的近实时搜索（NRT）、刷新（refresh）、持久化（flush）和事务日志（translog）之间的关系。刷新使新写入的数据可搜索，持久化确保数据安全存储，事务日志用于崩溃后的恢复。实验验证了不同刷新设置对搜索可见性的影响，强调了三者的独立性和调参的重要性。
关键要点
-
运维常把写入ES等同于立即可搜或已落盘，实际上涉及refresh、flush和translog三者的独立性。
-
refresh使新写入的数据可搜索，flush确保数据持久化到磁盘，translog用于崩溃后的恢复。
-
refresh_interval决定了数据可见性的时间窗口，默认值为1秒，若设置为-1则需手动refresh。
-
flush调用Lucene的commit()，将待提交段固化到磁盘，成功后可裁剪translog。
-
translog的durability设置影响数据的安全性，request模式下每次写入后fsync，async模式下按sync_interval批量fsync。
-
副本分片在复制操作后也需执行refresh，确保搜索可见性。
-
实验验证了不同refresh设置对搜索可见性的影响，强调了三者的独立性和调参的重要性。
延伸解读
理解近实时搜索的机制
Elasticsearch中的近实时搜索（NRT）依赖于refresh、flush和translog三者的独立性。refresh使新写入的数据可搜索，而flush则确保数据持久化到磁盘。理解这三者的关系有助于运维人员更好地调优系统性能，避免误解导致的服务水平协议（SLA）问题。
调参的重要性
在Elasticsearch中，refresh_interval的设置直接影响数据的可见性和搜索延迟。默认的1秒刷新周期可能不适合所有场景，特别是在高写入负载的情况下，禁用自动刷新并手动控制刷新时机可以提高写入吞吐量。运维人员应根据具体需求灵活调整这些参数。
translog的角色与风险
translog在Elasticsearch中用于记录尚未持久化的索引操作，确保在节点崩溃时可以恢复数据。选择不同的durability设置（如request或async）会影响数据的安全性和写入性能。运维人员需权衡数据安全与系统性能，避免因设置不当导致数据丢失。
延伸问答
Elasticsearch中的refresh、flush和translog有什么区别？
refresh使新写入的数据可搜索，flush确保数据持久化到磁盘，translog用于崩溃后的恢复。
如何设置Elasticsearch的refresh_interval？
可以通过PUT请求设置refresh_interval为正数（最短周期）或-1（禁用自动refresh）。
什么情况下需要手动调用refresh？
在refresh_interval设置为-1时，需要手动调用refresh以使新写入的数据可搜索。
translog的durability设置对数据安全性有什么影响？
durability设置影响数据的安全性，request模式下每次写入后fsync，而async模式下按sync_interval批量fsync。
如何验证不同refresh设置对搜索可见性的影响？
可以通过实验对比不同refresh_interval设置下的搜索命中数来验证其影响。
副本分片在Elasticsearch中如何处理refresh？
副本分片在复制操作后也需执行refresh，以确保搜索可见性。
