RawWeb最近进行了两项重要更新：引入SimHash实现文档去重，并将Elasticsearch迁移至Meilisearch以降低运维成本。成功清理了56,000个相似文档，但在Meilisearch的内存和性能上遇到挑战。SimHash通过哈希算法高效评估文本相似度，优化了分词质量。迁移过程中发现了存储空间和内存使用的问题，后续将继续调试和优化。

在过去两周，我对RawWeb进行了两项重要改进：引入SimHash算法进行文档去重，并将数据从Elasticsearch迁移到Meilisearch以降低运营成本。成功清理了56000个相似文档，但在Meilisearch上遇到了一些内存和性能挑战。