/home/rook1e
·
RawWeb 更新：SimHash 和 Meilisearch
💡
原文英文，约2500词，阅读约需9分钟。
📝
内容提要
在过去两周，我对RawWeb进行了两项重要改进：引入SimHash算法进行文档去重，并将数据从Elasticsearch迁移到Meilisearch以降低运营成本。成功清理了56000个相似文档，但在Meilisearch上遇到了一些内存和性能挑战。
🎯
关键要点
- 在过去两周，对RawWeb进行了两项重要改进：引入SimHash算法进行文档去重，迁移数据从Elasticsearch到Meilisearch以降低运营成本。
- 成功清理了56000个相似文档，但在Meilisearch上遇到了一些内存和性能挑战。
- 之前使用URL作为唯一约束，导致维护过程中发现大量重复文档。
- SimHash是一种局部敏感哈希算法，能够高效评估文本相似性。
- 实现SimHash相对简单，使用64位哈希值和fnv哈希算法。
- 经过测试，Charabia的分词效果最佳，但由于RawWeb后端使用Go，需要通过CGO调用Rust实现。
- 过滤相似内容时，Hamming距离小于3通常可以识别相似内容，但由于分词质量等限制，存在误判。
- 迁移到Meilisearch后，发现其存储空间使用量高，且删除文档时未释放磁盘空间。
- Meilisearch在低配置服务器上运行时遇到内存不足和CPU过载的问题。
- 文档删除速度慢导致任务积压，需优化数据同步过程。
- 主要目标已实现，后续将继续调试和优化，解决运营问题。
❓
延伸问答
RawWeb最近进行了哪些重要改进？
RawWeb最近引入了SimHash算法进行文档去重，并将数据从Elasticsearch迁移到Meilisearch以降低运营成本。
SimHash算法的主要功能是什么？
SimHash是一种局部敏感哈希算法，用于高效评估文本相似性，能够识别相似内容。
在迁移到Meilisearch后遇到了哪些问题？
迁移到Meilisearch后，遇到了内存不足、CPU过载和文档删除速度慢等问题。
RawWeb如何处理文档去重？
RawWeb使用SimHash算法进行文档去重，通过计算Hamming距离来识别相似内容。
Meilisearch的存储空间使用情况如何？
Meilisearch的数据库大小在导入文档后增长到约23GB，且删除文档时未释放磁盘空间。
RawWeb在优化过程中遇到了哪些技术挑战？
RawWeb在优化过程中遇到了文档删除速度慢、内存和CPU使用过高等技术挑战。
➡️
