本文讨论了单节点复现脚本与命令记录，基于Lucene和Elasticsearch的官方文档与源码。建议在Linux或WSL2环境中运行Elasticsearch 8.x或Lucene示例工程，并提供了具体的实验步骤和版本号，以确保实验结果的准确性。

本文是「全文检索引擎」系列的第一篇，探讨了倒排索引的架构与实现，分析了Lucene与Elasticsearch的关系，阐述了文本如何处理成可搜索的词项，以及查询在倒排列表中的执行方式。文章还区分了不同类型的搜索引擎，强调了全文检索引擎在文本与查询处理中的复杂性和重要性。

本文探讨了Lucene 9.x/10.x中的索引结构，重点介绍了Document、Field、docID及其在倒排和正排索引中的作用。Lucene通过独立的开关管理字段的索引、存储和DocValues，支持多种查询方式。同时分析了Elasticsearch与Lucene的映射关系，以及文档的业务主键和排序聚合的处理方法。

本文讨论了BM25算法在全文检索中的应用，分析了其公式、参数及与TF-IDF的区别。BM25通过饱和TF和长度归一解决了传统TF在长文档中的失效问题，并提及了Lucene和Elasticsearch的实现细节，强调了BM25在召回和可解释性方面的重要性。此外，文章探讨了BM25与学习排序的关系及其在实际应用中的工程边界。

本文探讨了全文检索引擎的架构，重点分析了Lucene和Elasticsearch的设计与实现，包括倒排索引、文档模型、分析链、BM25打分机制和近实时刷新等关键概念，适合搜索引擎工程师和研究生深入理解搜索系统的内部运作。

本文讨论了Lucene文档模型中分析器对中文分词的影响。不同分析器（如StandardAnalyzer、ICU和IK插件）会导致不同的词项集合，从而影响索引和查询结果。文章强调索引和查询使用相同分析器是确保搜索结果一致性的关键。中文分词依赖于词典和模型，Lucene本身不提供生产级中文分词，常用插件如IK和jieba可热更新词典。分析器的选择和配置对性能和召回率有重要影响。

本文讨论了Lucene中的近实时搜索（NRT）机制，重点介绍了IndexWriter的文档缓冲、flush和Segment管理。文档通过addDocument进入RAM缓冲，flush后生成不可变Segment，查询时可通过DirectoryReader.open(IndexWriter)访问已flush的文档。NRT允许在未commit的情况下进行搜索，并强调flush与refresh的区别，以及Elasticsearch在此基础上的实现。

本文讨论了Lucene的TieredMergePolicy及其在段合并中的作用。Lucene段文件不可原地更新，删除文档通过liveDocs标记为“死”，物理空间回收需待合并。TieredMergePolicy通过分层合并段，平衡写放大与查询性能。整体上，删除与合并策略影响存储效率与查询性能。

本文探讨了Lucene中的查询执行过程，重点介绍了BooleanQuery与BooleanScorer的实现，以及通过两阶段迭代优化查询效率。采用galloping和impacts等技术，减少无效文档处理，提高搜索性能，并讨论了分布式查询中的优化策略和开放问题。

本文探讨了Elasticsearch和Lucene中DocValues的使用，强调其在排序和聚合中的重要性。DocValues以列式存储优化字段访问，适合高效的排序和聚合操作，而stored字段则用于获取原文。使用DocValues可以提高查询性能，避免对分析文本字段进行聚合的误区，并讨论了设计时的注意事项和未来的开放问题。

本文讨论了在Elasticsearch和Lucene中结合稀疏BM25与稠密kNN进行混合检索的策略，重点分析了两种索引的共存、查询策略及其对性能的影响。混合检索需同时利用BM25和kNN信号，以确保候选文档的一致性和可比性。文章还探讨了写入路径、代价模型及与专用向量引擎的边界问题，强调了统一Segment生命周期的重要性。

搜索引擎通过索引和检索算法快速找到信息。Apache Lucene是一个用Java编写的开源库，是ElasticSearch和Solr的基础。Lucene的搜索技术包括查询预处理、倒排索引搜索、文档评分和结果排序。查询经过分词、标准化、去除停用词和词干提取，然后根据TF-IDF权重检索相关文档，并按得分排序显示最相关结果。