小红花·文摘
  • 首页
  • 广场
  • 排行榜🏆
  • 直播
  • FAQ
Dify.AI

拆解 WiredTiger write-ahead log:WiredTigerLog 文件、LSN、slot 无锁写入、checkpoint 之后自动删日志,以及崩溃恢复时从最近 checkpoint 回放;并标出与 MongoDB journaling 配置的边界。

【WiredTiger 内核】Journal / Logging:Checkpoint 之间的 WAL

土法炼钢兴趣小组的博客
土法炼钢兴趣小组的博客 · 2026-07-22T00:00:00Z

钉住 SQLite WAL 模式如何反转 rollback journal 的读写关系:原始内容留在主文件、新内容追加到 -wal,checkpoint 才把帧搬回主文件;用本机 3.53.2 实测 journal_mode=WAL 切换与 passive/truncate checkpoint 的真实帧数,读放大与 checkpoint 频率的取舍留作开放问题。

【SQLite 内核】WAL 与 checkpoint:追加日志与读写并发

土法炼钢兴趣小组的博客
土法炼钢兴趣小组的博客 · 2026-07-18T00:00:00Z

钉住 ATTACH DATABASE 的命名空间规则、super-journal 如何让跨文件事务在 rollback journal 模式下保持原子,以及官方文档明确写明的一条反常识边界:main 库或任一 attached 库切到 WAL 后,跨库事务只在单文件粒度原子,崩溃中间态可能只改了一部分文件;本机 3.53.2 实测跨库 JOIN、跨库事务提交与 DETACH 锁冲突。

【SQLite 内核】ATTACH / 多库边界:跨库事务的原子性在 WAL 下会退化

土法炼钢兴趣小组的博客
土法炼钢兴趣小组的博客 · 2026-07-18T00:00:00Z

用进程模型、日志、锁与缓冲池四轴对照 SQLite 与 PostgreSQL / InnoDB:说明嵌入式单文件如何删掉服务器层,以及同名 WAL、隔离、缓存概念为何不能平移运维经验;不写跨库吞吐排名。

【SQLite 内核】与 PG / InnoDB 机制对照:进程、WAL、锁、缓冲池

土法炼钢兴趣小组的博客
土法炼钢兴趣小组的博客 · 2026-07-18T00:00:00Z

补齐嵌入式行存内核层:从单文件格式、Pager/B-Tree、VDBE 到 Rollback Journal/WAL、锁状态机与计划器,并以 PG/InnoDB、DuckDB、RocksDB 对照收束;承接 sqlite-billion-rows 性能叙事。

【SQLite 内核】单文件 · Pager · B-Tree · VDBE · WAL · 锁

土法炼钢兴趣小组的博客
土法炼钢兴趣小组的博客 · 2026-07-17T00:00:00Z

本文介绍了Milvus 2.6.x中的Streaming Service和Woodpecker组件,重点在于通过WAL(写前日志)实现高效的数据流处理和查询。Streaming Service负责数据摄入、状态恢复和查询,采用消息驱动方式确保数据一致性。Woodpecker作为云原生WAL,支持零本地盘存储,提升系统吞吐量和可靠性,优化实时数据检索和处理能力。

【向量检索引擎】Streaming Node 与 Woodpecker WAL:实时可搜的日志层

土法炼钢兴趣小组的博客
土法炼钢兴趣小组的博客 · 2026-07-12T00:00:00Z

本文讨论了Milvus 2.6.x版本的内存副本、流服务和数据处理架构。内存副本允许在多个查询节点加载同一段,提高性能和可用性。流服务支持WAL迁移,确保写路径的可用性。通过协调段分布和负载均衡,优化查询和写入性能。文章还探讨了副本的成本和工程间隙,并提出未来的开放问题。

【向量检索引擎】副本、负载与故障恢复:读缓存式副本与 WAL 单所有者

土法炼钢兴趣小组的博客
土法炼钢兴趣小组的博客 · 2026-07-12T00:00:00Z

本文探讨了RocksDB的写路径架构,重点介绍了WriteBatch的使用、WAL记录格式及其持久化机制。RocksDB通过Group Commit合并多个写操作,确保数据在崩溃后可恢复。写入顺序为先写WAL,再写MemTable,最后更新序列号。sync选项影响数据持久性,确保已写入的数据不会丢失。文章还对比了RocksDB与LevelDB的不同之处,强调了多线程写入和Column Family的支持。

【RocksDB 内核机制】WAL 与 WriteBatch:持久化与原子批写

土法炼钢兴趣小组的博客
土法炼钢兴趣小组的博客 · 2026-07-07T00:00:00Z

本文讨论了RocksDB中的列族(Column Family, CF)机制,强调其共享WAL和独立MemTable/SST的特性。CF允许在同一数据库实例中实现多组比较器和独立的压缩策略,以满足不同状态变量的隔离需求。文章还介绍了Flink如何将多种状态变量映射到不同的CF,以优化性能和管理。WAL的回收机制与CF的flush操作密切相关,影响整体性能。

【RocksDB 内核机制】Column Family:共享 WAL 与独立 LSM

土法炼钢兴趣小组的博客
土法炼钢兴趣小组的博客 · 2026-07-07T00:00:00Z

本文探讨了RocksDB的内核机制,包括LevelDB、WAL、Compaction和Column Family等,重点分析了其在流计算和数据平台中的应用,尤其是在Flink和TiKV中的嵌入方式。同时讨论了写优化LSM的实现、读写路径、Compaction策略及其对性能的影响,适合流计算工程师和存储开发者阅读。

【RocksDB 内核机制】LevelDB · WAL · Compaction · Column Family · 生产嵌入

土法炼钢兴趣小组的博客
土法炼钢兴趣小组的博客 · 2026-07-07T00:00:00Z

本文讨论了RocksDB中MemTable的结构与功能,重点介绍了MemTable在写路径中如何与写前日志(WAL)协作,以确保数据的持久性和原子性。MemTable采用跳表实现,支持并发写入,并通过FlushJob将数据写入排序字符串表(SST)。文章分析了MemTable的生命周期、Flush调度及其对性能的影响,强调合理配置write_buffer_size和max_write_buffer_number的重要性,以优化写入效率和减少写放大。

【RocksDB 内核机制】MemTable 与 Flush:SkipList 到 L0 SST

土法炼钢兴趣小组的博客
土法炼钢兴趣小组的博客 · 2026-07-07T00:00:00Z

文章讨论了Postgres中的WAL(预写日志)归档状态,重点解释了.ready和.done文件的含义及其作用。.ready表示WAL段待归档或重试,而.done表示归档成功。这些文件用于跟踪归档状态,.done文件在检查点后才能被删除。文章还提到流复制与WAL归档的区别,以及如何检查归档和复制的健康状态。

Richard Yen:你准备好了吗?

Planet PostgreSQL
Planet PostgreSQL · 2026-07-06T08:00:00Z

Everything we’ve built so far has a fatal flaw: if the power goes out, data is lost. The buffer pool keeps dirty pages in memory and flushes them to disk lazily. A crash before that flush means...

OLTP – Phase 9 Write-Ahead Log (WAL)

Kimserey Lam’s website, Software Development blog posts, videos and tutorials
Kimserey Lam’s website, Software Development blog posts, videos and tutorials · 2026-06-17T05:00:00Z

写前日志(WAL)通过在数据修改前记录变更,解决了数据库在断电时的数据丢失问题。它确保在重启时可以恢复丢失的数据,具有快速写入和崩溃后重放日志的能力,从而保证数据的持久性。每个修改都有唯一的日志序列号(LSN),用于跟踪已应用的变更,提升了数据库的可靠性和性能。

在线事务处理 – 第9阶段 写前日志(WAL)

Kimserey Lam’s website, Software Development blog posts, videos and tutorials
Kimserey Lam’s website, Software Development blog posts, videos and tutorials · 2026-06-17T05:00:00Z

本文介绍了构建向量搜索引擎的过程,包括整体架构、距离函数、HNSW索引、乘积量化、WAL和mmap等关键技术。向量搜索引擎分为API层、索引层和存储层,采用HNSW作为索引,使用WAL实现崩溃恢复,并通过mmap优化内存管理。文章还探讨了距离计算加速方法和元数据过滤策略,并提供了一个用Go实现的简化版本。

从零实现一个向量搜索引擎

土法炼钢兴趣小组的博客
土法炼钢兴趣小组的博客 · 2026-06-02T00:00:00Z

PostgreSQL 19 finally lets wal_level adapt dynamically to your actual replication slots, eliminating the always-on WAL cost of logical standby insurance.

Christophe Pettus: The wal_level You Set Is Not the wal_level You Get

Planet PostgreSQL
Planet PostgreSQL · 2026-05-11T15:00:00Z

If you have ever run pg_ctl stop -m fast on a primary and watched it hang well past wal_sender_shutdown_timeout, you have met a bug that has been sitting in walsender.c for years. As of commit...

Christophe Pettus: wal_sender_shutdown_timeout: Now Actually a Timeout

Planet PostgreSQL
Planet PostgreSQL · 2026-05-02T18:30:00Z
肖恩·托马斯:检查点、写入风暴与您

Postgres通过预写日志(WAL)解决内存与磁盘的矛盾。检查点是将脏页写入磁盘的过程,处理不当会影响性能。合理设置max_wal_size可以减少强制检查点,从而提升系统性能。监控检查点活动是优化数据库的重要步骤。

肖恩·托马斯:检查点、写入风暴与您

Planet PostgreSQL
Planet PostgreSQL · 2026-04-10T06:06:37Z

文章讨论了安全访问生产数据的方法,包括查询主数据库、流复制和夜间快照等,及其风险。作者建议使用WAL日志传输作为替代方案,以实现近实时数据访问而不影响主数据库性能,并提出建立WAL中心存档架构,以便多个消费者安全访问数据。

Richard Yen:WAL作为数据分发层

Planet PostgreSQL
Planet PostgreSQL · 2026-04-06T08:00:00Z

本文介绍了WAL(Write-Ahead Log)和MemTable的实现,解决了数据持久性问题。WAL通过先写日志再写内存,确保崩溃后数据可恢复。MemTable使用跳表结构,支持高效的插入和查找。文章讨论了WAL的记录格式、分片策略及崩溃恢复的正确性,确保数据在系统崩溃时不会丢失。

【LSM-Tree】WAL + MemTable:崩溃了也不丢数据

土法炼钢兴趣小组的博客
土法炼钢兴趣小组的博客 · 2026-03-22T00:00:00Z
  • <<
  • <
  • 1 (current)
  • 2
  • 3
  • >
  • >>
👤 个人中心
在公众号发送验证码完成验证
登录验证
在本设备完成一次验证即可继续使用

完成下面两步后,将自动完成登录并继续当前操作。

1 关注公众号
小红花技术领袖公众号二维码
小红花技术领袖
如果当前 App 无法识别二维码,请在微信搜索并关注该公众号
2 发送验证码
在公众号对话中发送下面 4 位验证码
友情链接: MOGE.AI 九胧科技 模力方舟 Gitee AI 菜鸟教程 Remio.AI DeekSeek连连 53AI 神龙海外代理IP IPIPGO全球代理IP 东波哥的博客 匡优考试在线考试系统 开源服务指南 蓝莺IM Solo 独立开发者社区 AI酷站导航 极客Fun 我爱水煮鱼 周报生成器 He3.app 简单简历 白鲸出海 T沙龙 职友集 TechParty 蟒周刊 Best AI Music Generator

小红花技术领袖俱乐部
小红花·文摘:汇聚分发优质内容
小红花技术领袖俱乐部
Copyright © 2021-
粤ICP备2022094092号-1
公众号 小红花技术领袖俱乐部公众号二维码
视频号 小红花技术领袖俱乐部视频号二维码