本文讨论了Meilisearch中的内存泄漏问题,作者通过分析代码和使用不同的内存分配器(jemalloc和mimalloc)寻找泄漏原因。最终发现,Meilisearch与LMDB的内存分配不兼容导致了内存问题。通过统一内存分配器,内存使用显著降低,性能也有所提升。
Meilisearch对LMDB进行了补丁,支持未提交写入的嵌套读取事务,提升了向量存储速度和索引时间。通过优化数据结构和减少全扫描,处理速度提高至每秒20个嵌入,显著提升搜索性能。新特性无需API更改,自2025年12月起在生产中使用。
注: 本文仅为笔记,不怎么通顺和严谨。 KV系列属于一个大规模场景的必备品,而且通常很多公司会选择自研,一方面是各种不同产品均有局限,而大家的需求都有差别。另一方面社区已经有一些比较好的 building blocks,可以方便地进行组装和修改。最常见的情境是,分布式KV的开发 = 选一个底层kv存储 + 一个分布式协议。比如TiDB,ETCD等等。最近看 cloudflare 的...
完成下面两步后,将自动完成登录并继续当前操作。