我们如何用Rust为130万词构建300微秒拼写纠正系统
原文英文，约1300词，阅读约需5分钟。
📝
内容提要
我们推出了Hacker News搜索和RAG引擎，速度比第一版快100倍，拼写纠正系统对正确拼写的查询只需300微秒，拼写错误的查询每个单词大约需要5毫秒。本文解释了实现这一目标的方法。
🔎
延伸解读
性能提升的关键：缓存与数据结构优化
文章指出，拼写纠正系统从30毫秒降至300微秒，主要归功于服务端缓存和BKTree的懒加载。首次查询需200-400毫秒冷启动，但后续查询仅需100-300微秒。这提示读者，对于高频查询场景，缓存大型数据结构能显著降低延迟，但需权衡冷启动开销。
避免误纠正：英语词库与前缀后缀分析
为防止将合法单词误判为拼写错误，系统维护了约40万英语单词的哈希集，并通过前缀和后缀Trie树识别派生词。例如，即使单词不在数据集词典中，只要其词根是英语单词，就不会被纠正。这种多层校验机制提高了纠正准确性，尤其适合专业领域搜索。
从拼写纠正到查询理解：意外收益与未来方向
文章提到，拼写纠正系统意外解决了FreeBSD查询被拆分为Free和BSD的问题，通过数据集级词典检查，能自动将非英语单词视为完整词。未来计划利用同一系统实现查询拆分与连接，以提升相关性。这表明基础组件可能带来超出预期的搜索质量改进。
❓
Q&A
这个拼写纠正系统的响应时间是多少？
正确拼写的查询响应时间为300微秒，拼写错误的查询每个单词约需5毫秒。
为什么选择ClickHouse来存储字典？
选择ClickHouse是因为在Postgres写入时遇到死锁和性能问题，ClickHouse的异步插入非常适合此任务。
BKTree数据结构在拼写纠正中有什么作用？
BKTree用于高效比较查询中的单词和字典中的单词，能够在O(log N)时间复杂度内进行拼写纠正。
如何识别不在字典中的单词？
对不在字典中的单词进行BKTree搜索，生成候选纠正词。
系统如何选择最佳的拼写纠正？
使用评分算法从候选纠正词中选择最佳纠正，优先考虑前缀匹配和词频。
未来对拼写纠正系统有什么计划？
未来计划利用相同系统实现查询拆分和连接，以提高相关性。
🏷️
