小红花·文摘
  • 首页
  • 广场
  • 排行榜🏆
  • 直播
  • FAQ
Dify.AI

B+树和LSM树是两种主要的数据结构,分别代表原地更新和追加写入的存储方式。B+树优化读取和空间,但写放大较高;LSM树优化写入,但读取和空间放大较高。RUM猜想表明,无法在读、写和空间放大上同时达到最优。B+树适合OLTP场景,而LSM树在写入密集型应用中表现更好。选择存储引擎时需考虑具体应用需求。

B+tree 与 LSM-tree:两种存储引擎哲学的碰撞

土法炼钢兴趣小组的博客
土法炼钢兴趣小组的博客 · 2026-04-19T00:00:00Z

本文介绍了一个完整的LSM-Tree数据库引擎的实现,分为两个部分:第一部分使用C语言组装各个组件,提供六个API;第二部分用Rust重写核心模块,记录编译过程中的真实故事并进行性能对比。文章详细描述了数据库的内部结构、读写路径、崩溃恢复机制及后台线程的工作原理,强调了Rust在安全性方面的优势,并通过基准测试比较了C、Rust和LevelDB的性能,指出各自的优缺点。

【LSM-Tree】完整引擎 + Rust 重写对比

土法炼钢兴趣小组的博客
土法炼钢兴趣小组的博客 · 2026-04-12T00:00:00Z

本文讨论了LSM-Tree中的Compaction机制,解决了SSTable只增不删的问题。Compaction通过合并多个SSTable文件,回收无效数据,提升读性能。文章介绍了不同层级的设计、Compaction的触发条件、文件选择策略及去重逻辑,确保数据的有序性和一致性,并管理版本信息以支持并发读写操作。

Compaction:LSM-Tree 的心脏手术

土法炼钢兴趣小组的博客
土法炼钢兴趣小组的博客 · 2026-04-05T00:00:00Z

本文介绍了SSTable的构建与读取过程,重点在于数据块的前缀压缩和布隆过滤器的实现,强调其在减少无效I/O中的作用。SSTable通过分块存储数据,利用索引和布隆过滤器提高查找效率,避免不必要的磁盘读取。文章还提供了相关的C代码实现。

【LSM-Tree】SSTable + Bloom Filter:磁盘上的有序表

土法炼钢兴趣小组的博客
土法炼钢兴趣小组的博客 · 2026-03-29T00:00:00Z

本文介绍了WAL(Write-Ahead Log)和MemTable的实现,解决了数据持久性问题。WAL通过先写日志再写内存,确保崩溃后数据可恢复。MemTable使用跳表结构,支持高效的插入和查找。文章讨论了WAL的记录格式、分片策略及崩溃恢复的正确性,确保数据在系统崩溃时不会丢失。

【LSM-Tree】WAL + MemTable:崩溃了也不丢数据

土法炼钢兴趣小组的博客
土法炼钢兴趣小组的博客 · 2026-03-22T00:00:00Z

LSM-Tree(日志结构合并树)是一种适合写入远多于读取的存储系统的结构。其核心思想是将数据先写入内存中的有序结构,再顺序写入磁盘,以避免随机写入的性能瓶颈。与B-Tree相比,LSM-Tree通过追加写和后台归并优化写入性能,适合时序数据库和日志存储。文章介绍了LSM-Tree的组件及其工作原理,包括WAL、MemTable、SSTable和Compaction等。

LSM-Tree 全景:为什么要先写日志再排序

土法炼钢兴趣小组的博客
土法炼钢兴趣小组的博客 · 2026-03-15T00:00:00Z

该系列文章通过五篇深入探讨如何从零构建LSM-Tree KV存储引擎,涵盖设计决策、组件功能及Rust重写,涉及WAL、MemTable、SSTable、Compaction等关键概念,最终提供完整引擎及性能对比。

从零写一个 LSM-Tree 存储引擎

土法炼钢兴趣小组的博客
土法炼钢兴趣小组的博客 · 2026-03-15T00:00:00Z
从零开始构建LSM树存储引擎 – 完整手册

数据库是软件系统的重要组成部分,能够高效存储和检索大量数据。随着数据量的增加,LSM树(日志结构合并树)成为一种高效的存储系统。本文介绍了LSM树的关键组件,如MemTable、SSTable和WAL,强调了写入速度和数据持久性的重要性,并探讨了删除和合并数据的挑战。

从零开始构建LSM树存储引擎 – 完整手册

freeCodeCamp.org
freeCodeCamp.org · 2025-12-18T20:25:02Z
JavaLSM:基于LSM树的Java键值存储

本文介绍了如何用Java从零构建LSM树存储引擎,重点在数据管道的实现。JavaLSM提供简单的键值接口,支持内存缓冲和磁盘SSTables,具备快速读取、自动压缩和崩溃恢复等功能。通过红黑树和布隆过滤器的使用,优化了存储和查询效率,增强了对LSM存储引擎的理解。

JavaLSM:基于LSM树的Java键值存储

DEV Community
DEV Community · 2025-05-11T14:01:52Z
从零构建LSM-Tree存储引擎

本文介绍了日志结构合并树(LSM-Tree)的基本概念及其在高吞吐量写操作中的应用。LSM-Tree通过内存中的Memtable和磁盘上的SSTable优化数据写入,并使用WAL确保数据安全。删除操作采用“墓碑”机制,查询时利用Bloom过滤器提高效率。最后,文章展示了如何从零构建基于LSM-Tree的存储引擎。

从零构建LSM-Tree存储引擎

DEV Community
DEV Community · 2025-01-02T18:44:17Z

本研究提出了多模态基础模型LSM,用于解决可穿戴传感器数据分析的挑战。该模型基于超过16.5万人数据,显示出在数据处理和运动识别任务中的高效能力。

可穿戴基础模型的扩展

BriefGPT - AI 论文速递
BriefGPT - AI 论文速递 · 2024-10-17T00:00:00Z

Linux安全主要依赖自主访问控制(DAC),但对恶意软件的保护有限。强制访问控制(MAC)通过安全规则检查程序操作。SeLinux和AppArmor是两种MAC实现,前者复杂且依赖支持的文件系统,后者使用白名单进行权限管理,允许基于应用的限制。Ubuntu和SUSE默认使用AppArmor,而RHEL则使用SeLinux。

{SeLinux, 强制访问控制 (MAC), Linux安全模块 (LSM), 自主访问控制 (DAC), AppArmor}

shrik3
shrik3 · 2024-10-16T23:20:14Z

LSM-YOLO是一种新模型,解决了医学区域检测中的实时性和准确性问题。通过特征提取和匹配,该模型显著提高了医学图像中感兴趣区域的检测率,特别在胰腺肿瘤、血细胞和脑肿瘤的检测中表现出色。验证了其在医学自动检测中的有效性。

LSM-YOLO:一种紧凑且有效的医学检测区域检测器

BriefGPT - AI 论文速递
BriefGPT - AI 论文速递 · 2024-08-26T00:00:00Z

本文介绍了LearnedKV,一种新颖的分层键值存储系统,将LSM树与Learned Index集成,实现与SSD上独立索引结构相比的读写性能。实验结果显示,LearnedKV在性能上超过了现有解决方案的1.32倍和1.31倍。

LearnedKV: 将 LSM 和学习索引集成于 SSD 以实现卓越性能

BriefGPT - AI 论文速递
BriefGPT - AI 论文速递 · 2024-06-27T00:00:00Z

通过实验证明,减少精度量化保存被清除的KV对中的一小部分信息,能恢复引起的退化。提出了一种可靠的缓存压缩方法,即混合精度KV缓存(MiKV),保留被清除的KV对以保留上下文细节,并保留重要的KV对以确保生成质量。与其他基准相比,该方法在多种基准和LLM骨干上提供了最先进的压缩比和性能的权衡。

DumpKV: 基于学习的针对 LSM 树中 key value 分离的生命周期感知垃圾回收

BriefGPT - AI 论文速递
BriefGPT - AI 论文速递 · 2024-06-03T00:00:00Z
探索aarch64架构上使用ftrace的BPF LSM

本文探讨了在ARM64架构上使用ftrace的BPF LSM的差异,并介绍了作者在MacBook M2上开发eBPF程序时遇到的问题。作者通过使用bpftrace和trace-cmd工具来调查问题,并发现在Linux 5.15和6.1内核上加载BPF LSM程序时出现了错误。经过分析,作者发现这是因为缺少对aarch64架构的支持。然而,作者指出这个问题将在下一个6.4版本的Linux内核中得到修复。

探索aarch64架构上使用ftrace的BPF LSM

CFC4N的博客
CFC4N的博客 · 2024-01-26T15:54:05Z
IBM 的新型 watsonx 大型语音模型将生成式 AI 引入电话领域

IBM Watson团队和IBM研究团队开发了一种新的大型语音模型(LSM),用于电话助手和实时通话转录等客户服务场景。与OpenAI的Whisper模型相比,IBM的LSM在短文本英语用例中的词错误率(WER)降低了42%,模型大小也小了5倍,处理速度快了10倍。LSM在长文本用例中也表现出色。现在,英语和日语的新LSM已在Watson Speech to Text和Watson Assistant电话客户中的封闭测试中提供。

IBM 的新型 watsonx 大型语音模型将生成式 AI 引入电话领域

IBM Blog
IBM Blog · 2024-01-03T20:31:21Z

本文介绍了几种数据结构的发展和特点。完全二叉树和平衡二叉树是基础,二叉搜索树(BST)查询高效但可能退化为链表。AVL树是平衡二叉搜索树,通过旋转保持平衡,但旋转成本高。红黑树牺牲部分平衡性以减少旋转。B树适合大数据量,减少磁盘IO,B+树优化了磁盘IO次数和范围查询。LSM树适合写多读少的场景,牺牲读性能以提升写性能。

从BST到LSM的进阶之路 | 京东物流技术团队

京东科技开发者
京东科技开发者 · 2023-11-14T03:28:52Z

该项目发布了将lsm db适配到badger-go 0.80的第一个版本,已经在GitHub上发布。

BadgerDB 烂大街的lsm db项目

Rust.cc
Rust.cc · 2023-10-13T02:56:27Z

随着数据量的增大,传统关系型数据库越来越不能满足对于海量数据存储的需求。对于分布式关系型数据库,我们了解其底层存储结构是非常重要的。本文将介绍下分布式关系型数据库 TiDB 所采用的底层存储结构 LSM 树的原理。

TiDB 底层存储结构 LSM 树原理介绍

京东科技开发者
京东科技开发者 · 2023-01-11T02:23:29Z
  • <<
  • <
  • 1 (current)
  • 2
  • >
  • >>
👤 个人中心
在公众号发送验证码完成验证
登录验证
在本设备完成一次验证即可继续使用

完成下面两步后,将自动完成登录并继续当前操作。

1 关注公众号
小红花技术领袖公众号二维码
小红花技术领袖
如果当前 App 无法识别二维码,请在微信搜索并关注该公众号
2 发送验证码
在公众号对话中发送下面 4 位验证码
友情链接: MOGE.AI 九胧科技 模力方舟 Gitee AI 菜鸟教程 Remio.AI DeekSeek连连 53AI 神龙海外代理IP IPIPGO全球代理IP 东波哥的博客 匡优考试在线考试系统 开源服务指南 蓝莺IM Solo 独立开发者社区 AI酷站导航 极客Fun 我爱水煮鱼 周报生成器 He3.app 简单简历 白鲸出海 T沙龙 职友集 TechParty 蟒周刊 Best AI Music Generator

小红花技术领袖俱乐部
小红花·文摘:汇聚分发优质内容
小红花技术领袖俱乐部
Copyright © 2021-
粤ICP备2022094092号-1
公众号 小红花技术领袖俱乐部公众号二维码
视频号 小红花技术领袖俱乐部视频号二维码