小红花·文摘
  • 首页
  • AI Tokens🪙
  • 排行榜🏆
  • 直播
  • FAQ
Dify.AI

本文介绍WiredTiger存储引擎的Checkpoint机制,作为崩溃恢复的已知时间点,与日志共同保证耐久性。流程包括加锁、eviction减压、准备、用户表reconcile、History Store(故意后置以包含新增写入)、落盘及元数据更新。通过generation防止eviction超前,支持并行checkpoint,并与Journal分工协作。

【WiredTiger 内核】Checkpoint:跨文件一致快照

土法炼钢兴趣小组的博客 土法炼钢兴趣小组的博客 · 2026-07-22T00:00:00Z

本文介绍WiredTiger日志系统:WAL文件为WiredTigerLog.*,预分配用Tmplog/Preplog;提交时写commit记录,崩溃恢复从最近checkpoint回放;热路径用lock-free slot池,内部线程分工;backup cursor打开时禁用自动删除和预分配。

【WiredTiger 内核】Journal / Logging:Checkpoint 之间的 WAL

土法炼钢兴趣小组的博客 土法炼钢兴趣小组的博客 · 2026-07-22T00:00:00Z

本文介绍MongoDB手册中WiredTiger存储引擎的运维参数映射:缓存大小、约60秒检查点、日志与历史窗口等旋钮对应内核机制;列出数据目录关键文件(.wt、WiredTigerHS.wt、日志等);明确不展开复制集、分片等边界;强调调参前需回看机制篇,避免误操作。

【WiredTiger 内核】MongoDB 嵌入边界:cache、checkpoint 与历史窗口

土法炼钢兴趣小组的博客 土法炼钢兴趣小组的博客 · 2026-07-22T00:00:00Z

本文介绍WiredTiger内核系列文章,涵盖MongoDB默认引擎的MVCC实现路径,包括Cache、Eviction、Reconciliation、History Store和Checkpoint等核心机制。系列共17篇,从Session/Cursor到选型对照,重点解析更新链、脏页驱逐、旧快照读取及崩溃恢复,并对比PG、InnoDB、RocksDB等引擎,为运维和架构师提供完整技术参考。

【WiredTiger 内核】Cache · Eviction · Reconciliation · History Store · Checkpoint

土法炼钢兴趣小组的博客 土法炼钢兴趣小组的博客 · 2026-07-22T00:00:00Z

WiredTiger的Eviction机制通过server线程近似LRU选页,worker线程执行驱逐,区分clean(直接释放)和dirty(需reconcile,最新值进用户表,旧版进History Store)。配置target/trigger控制后台或应用线程参与驱逐,dirty超限时应用线程被迫协助。Eviction也是checkpoint前置减压阀,HS页同样参与驱逐。

【WiredTiger 内核】Eviction:脏页必须先 reconcile

土法炼钢兴趣小组的博客 土法炼钢兴趣小组的博客 · 2026-07-22T00:00:00Z

WiredTiger的reconciliation将内存页转为磁盘格式,触发于脏页驱逐和检查点。用户表保留最新已提交更新,旧版本写入History Store。行存储叶页按序遍历,依leaf_page_max和split_pct分裂为多页镜像。History Store页reconcile时移除全局可见墓碑。Eviction为腾缓存,Checkpoint为一致快照,两者分工明确。

【WiredTiger 内核】Reconciliation:内存页到 on-disk image

土法炼钢兴趣小组的博客 土法炼钢兴趣小组的博客 · 2026-07-22T00:00:00Z

本文介绍WiredTiger存储引擎的Block Manager子系统。每个数据文件由若干块组成,采用无覆盖分配策略,重写时写入新位置。块通过address cookie寻址,包含偏移、大小和校验和。分配使用best fit或first fit策略,checkpoint维护alloc、avail、discard三张extent列表管理空间。写入时计算校验和,支持压缩。旧checkpoint删除后块才可复用。

【WiredTiger 内核】Block manager、页格式与压缩

土法炼钢兴趣小组的博客 土法炼钢兴趣小组的博客 · 2026-07-22T00:00:00Z

本文介绍WiredTiger存储引擎的compaction机制:通过将文件尾部块前移到可复用区间,再多次checkpoint后truncate缩小文件,但为best-effort不保证成功。同时说明backup cursor打开期间禁用日志删除与预分配改名,保证备份一致性,但会导致日志堆积,备份窗口应有界。

【WiredTiger 内核】Compaction 与 Backup:空间回收与一致性边界

土法炼钢兴趣小组的博客 土法炼钢兴趣小组的博客 · 2026-07-22T00:00:00Z

SQLite WAL模式将改动追加至-wal文件,主文件不变,实现读写不互阻。checkpoint为必要操作,PASSIVE不缩文件,仅TRUNCATE截断至零。实测显示PASSIVE后主文件增大而WAL不变,TRUNCATE后归零。SQLite WAL与PostgreSQL WAL同名但机制不同,前者帧参与读路径,后者仅恢复用。权衡读放大与checkpoint频率仍为开放问题。

【SQLite 内核】WAL 与 checkpoint:追加日志与读写并发

土法炼钢兴趣小组的博客 土法炼钢兴趣小组的博客 · 2026-07-18T00:00:00Z
肖恩·托马斯:期待Postgres 19:检查点控制

Postgres 19引入了CHECKPOINT命令的新功能,DBA可以选择FAST和SPREAD两种模式来优化写入性能。FAST模式快速完成检查点,而SPREAD模式则平滑写入,减少对存储的冲击。此外,新增的FLUSH_UNLOGGED选项允许手动刷新未记录表的数据。这些改进提升了CHECKPOINT的灵活性,以满足不同的数据库管理需求。

肖恩·托马斯:期待Postgres 19:检查点控制

Planet PostgreSQL Planet PostgreSQL · 2026-07-17T06:05:23Z

本文讨论了RocksDB的三种数据搬运机制:Checkpoint、BackupEngine和SstFileWriter。Checkpoint通过硬链接创建一致性快照,BackupEngine支持增量备份和跨文件系统恢复,SstFileWriter用于离线生成SST文件。这三种机制在一致性和操作方式上各有不同,适用于不同的生产运维场景。

【RocksDB 内核机制】Checkpoint、Backup 与 External Ingest

土法炼钢兴趣小组的博客 土法炼钢兴趣小组的博客 · 2026-07-07T00:00:00Z

本文讨论了Flink中的Checkpoint机制,强调其在有状态流作业中的重要性。Checkpoint通过绑定数据源读取位置和算子状态,确保作业失败时能够恢复一致性状态。文章介绍了Chandy-Lamport快照算法的变体、对齐与非对齐Checkpoint的优缺点,以及CheckpointCoordinator的生命周期和Kafka源的offset管理,并提供了调优建议以优化Checkpoint的性能和可靠性。

【流式数据处理】Checkpoint 机制:Barrier 对齐与一致性快照

土法炼钢兴趣小组的博客 土法炼钢兴趣小组的博客 · 2026-07-01T00:00:00Z

本文讨论了Flink中Savepoint与Checkpoint的区别及应用场景。Savepoint是用户手动触发的可移植快照,适用于版本升级和拓扑变更;Checkpoint是自动生成的,主要用于故障恢复。Savepoint支持状态迁移和并行度调整,但需注意UID管理和状态兼容性。文章还提供了操作命令、常见异常处理及版本升级检查清单,强调了在生产环境中使用Savepoint的重要性。

【流式数据处理】Savepoint 与升级恢复:状态演化与兼容边界

土法炼钢兴趣小组的博客 土法炼钢兴趣小组的博客 · 2026-07-01T00:00:00Z
克里斯托夫·佩图斯:所有的GUC参数一览:checkpoint_flush_after和checkpoint_warning

文章讨论了PostgreSQL中的两个检查点参数:checkpoint_flush_after和checkpoint_warning。checkpoint_flush_after控制写回操作,默认值为256kB,建议在Linux上保持不变。checkpoint_warning是日志参数,用于警告检查点过于频繁,默认值为30秒,建议在出现警告时增加max_wal_size。

克里斯托夫·佩图斯:所有的GUC参数一览:checkpoint_flush_after和checkpoint_warning

Planet PostgreSQL Planet PostgreSQL · 2026-05-23T01:00:00Z
克里斯托夫·佩图斯:将所有GUC参数一一列出:checkpoint_timeout和checkpoint_completion_target

本文讨论了PostgreSQL中的两个重要检查点参数:checkpoint_timeout和checkpoint_completion_target。检查点是确保脏页写入磁盘的时刻,影响崩溃恢复时间。建议将checkpoint_timeout设置为至少15分钟,以减少写放大和I/O负担,同时将checkpoint_completion_target设置为0.9,以平滑I/O负载。合理配置可提高系统性能和稳定性。

克里斯托夫·佩图斯:将所有GUC参数一一列出:checkpoint_timeout和checkpoint_completion_target

Planet PostgreSQL Planet PostgreSQL · 2026-05-22T01:00:00Z
Microsoft Agent Framework - Workflow 示例 — Checkpoint 与状态恢复

本文介绍了基于猜数字游戏的工作流检查点机制,包含同实例恢复、全新实例重建和人机交互三个示例。通过二分查找,游戏由两个执行者交替进行,展示了在不同场景下的状态保存与恢复。检查点管理器负责序列化状态,支持长流程恢复和调试。

Microsoft Agent Framework - Workflow 示例 — Checkpoint 与状态恢复

dotNET跨平台 dotNET跨平台 · 2026-05-02T00:01:24Z

Meta的LLaMA-3报告显示,405B模型在54天内发生466次中断,主要由于GPU故障。关键在于高效的checkpoint机制,包括异步写入和分布式存储。有效的故障容忍策略如热备节点、健康检查和自动识别慢节点,可以优化恢复时间,提高有效训练时间,从而降低成本,确保训练按期完成。

【大模型基础设施工程】10:Checkpoint 与故障容忍

土法炼钢兴趣小组的博客 土法炼钢兴趣小组的博客 · 2026-04-22T00:00:00Z
宣布Checkpoint/Restore工作组

Kubernetes成立了Checkpoint/Restore工作组,旨在将检查点/恢复功能集成到Kubernetes中,以优化资源利用、加速应用启动、实现容错、支持负载均衡和安全事件调查。该工作组将促进Kubernetes社区与CRIU生态系统的合作与讨论。

宣布Checkpoint/Restore工作组

Kubernetes Blog Kubernetes Blog · 2026-01-21T18:00:00Z
nanobot-checkpoint_manager

本文介绍了深度学习训练中检查点管理的核心技巧,包括向后兼容的配置演化、分布式训练状态管理、设备兼容的数据类型处理和内存高效的模型加载。强调了多层次API设计和人类可读的元数据存储,适合深度学习工程化实践。

nanobot-checkpoint_manager

plus studio plus studio · 2026-01-18T00:00:00Z

本文介绍了通过网络扫描和漏洞利用进行渗透测试的方法,包括使用nmap和masscan工具扫描开放端口、获取服务信息,以及通过TFTP和SSH进行权限提升,强调了网络安全的重要性及法律责任。

[Meachines] [Hard] Joker TFTP+squid+ln+checkpoint-action

FreeBuf网络安全行业门户 FreeBuf网络安全行业门户 · 2025-10-15T15:40:43Z
  • <<
  • <
  • 1 (current)
  • 2
  • >
  • >>
👤 个人中心
在公众号发送验证码完成验证
登录验证
在本设备完成一次验证即可继续使用

完成下面两步后,将自动完成登录并继续当前操作。

1 关注公众号
小红花技术领袖公众号二维码
小红花技术领袖
如果当前 App 无法识别二维码,请在微信搜索并关注该公众号
2 发送验证码
在公众号对话中发送下面 4 位验证码
友情链接: MOGE.AI 九胧科技 1tok 菜鸟教程 Remio.AI DeekSeek连连 53AI 神龙海外代理IP IPIPGO全球代理IP 东波哥的博客 匡优考试在线考试系统 开源服务指南 蓝莺IM Solo 独立开发者社区 AI酷站导航 极客Fun 我爱水煮鱼 周报生成器 He3.app 简单简历 白鲸出海 T沙龙 职友集 TechParty 蟒周刊 Best AI Music Generator 模力方舟 Gitee AI

小红花技术领袖俱乐部
小红花·文摘:汇聚分发优质内容
小红花技术领袖俱乐部
Copyright © 2021-
粤ICP备2022094092号-1
公众号 小红花技术领袖俱乐部公众号二维码
视频号 小红花技术领袖俱乐部视频号二维码