小红花·文摘
  • 首页
  • AI Tokens🪙
  • 排行榜🏆
  • 直播
  • FAQ
Dify.AI
沉浸式翻译 immersive translate

本文介绍etcd v3.5.33中Lease与KeepAlive机制:Lease由Leader管理,Renew不经Raft,Follower转发至Leader;Grant/Revoke/Checkpoint经Raft共识。Leader切换时Demote冻结expiry,Promote展期防风暴。Checkpoint周期写入剩余TTL,确保TTL可恢复。KeepAlive失败需区分本地或转发路径,避免误判Raft或磁盘问题。

【etcd】Lease 与 KeepAlive:TTL、checkpoint 与 Leader 切换

土法炼钢兴趣小组的博客 土法炼钢兴趣小组的博客 · 2026-08-26T00:00:00Z

本文介绍WiredTiger存储引擎的Checkpoint机制,作为崩溃恢复的已知时间点,与日志共同保证耐久性。流程包括加锁、eviction减压、准备、用户表reconcile、History Store(故意后置以包含新增写入)、落盘及元数据更新。通过generation防止eviction超前,支持并行checkpoint,并与Journal分工协作。

【WiredTiger 内核】Checkpoint:跨文件一致快照

土法炼钢兴趣小组的博客 土法炼钢兴趣小组的博客 · 2026-07-22T00:00:00Z

本文介绍WiredTiger日志系统:WAL文件为WiredTigerLog.*,预分配用Tmplog/Preplog;提交时写commit记录,崩溃恢复从最近checkpoint回放;热路径用lock-free slot池,内部线程分工;backup cursor打开时禁用自动删除和预分配。

【WiredTiger 内核】Journal / Logging:Checkpoint 之间的 WAL

土法炼钢兴趣小组的博客 土法炼钢兴趣小组的博客 · 2026-07-22T00:00:00Z

本文介绍MongoDB手册中WiredTiger存储引擎的运维参数映射:缓存大小、约60秒检查点、日志与历史窗口等旋钮对应内核机制;列出数据目录关键文件(.wt、WiredTigerHS.wt、日志等);明确不展开复制集、分片等边界;强调调参前需回看机制篇,避免误操作。

【WiredTiger 内核】MongoDB 嵌入边界:cache、checkpoint 与历史窗口

土法炼钢兴趣小组的博客 土法炼钢兴趣小组的博客 · 2026-07-22T00:00:00Z

本文介绍WiredTiger内核系列文章,涵盖MongoDB默认引擎的MVCC实现路径,包括Cache、Eviction、Reconciliation、History Store和Checkpoint等核心机制。系列共17篇,从Session/Cursor到选型对照,重点解析更新链、脏页驱逐、旧快照读取及崩溃恢复,并对比PG、InnoDB、RocksDB等引擎,为运维和架构师提供完整技术参考。

【WiredTiger 内核】Cache · Eviction · Reconciliation · History Store · Checkpoint

土法炼钢兴趣小组的博客 土法炼钢兴趣小组的博客 · 2026-07-22T00:00:00Z

WiredTiger的Eviction机制通过server线程近似LRU选页,worker线程执行驱逐,区分clean(直接释放)和dirty(需reconcile,最新值进用户表,旧版进History Store)。配置target/trigger控制后台或应用线程参与驱逐,dirty超限时应用线程被迫协助。Eviction也是checkpoint前置减压阀,HS页同样参与驱逐。

【WiredTiger 内核】Eviction:脏页必须先 reconcile

土法炼钢兴趣小组的博客 土法炼钢兴趣小组的博客 · 2026-07-22T00:00:00Z

WiredTiger的reconciliation将内存页转为磁盘格式,触发于脏页驱逐和检查点。用户表保留最新已提交更新,旧版本写入History Store。行存储叶页按序遍历,依leaf_page_max和split_pct分裂为多页镜像。History Store页reconcile时移除全局可见墓碑。Eviction为腾缓存,Checkpoint为一致快照,两者分工明确。

【WiredTiger 内核】Reconciliation:内存页到 on-disk image

土法炼钢兴趣小组的博客 土法炼钢兴趣小组的博客 · 2026-07-22T00:00:00Z

本文介绍WiredTiger存储引擎的Block Manager子系统。每个数据文件由若干块组成,采用无覆盖分配策略,重写时写入新位置。块通过address cookie寻址,包含偏移、大小和校验和。分配使用best fit或first fit策略,checkpoint维护alloc、avail、discard三张extent列表管理空间。写入时计算校验和,支持压缩。旧checkpoint删除后块才可复用。

【WiredTiger 内核】Block manager、页格式与压缩

土法炼钢兴趣小组的博客 土法炼钢兴趣小组的博客 · 2026-07-22T00:00:00Z

本文介绍WiredTiger存储引擎的compaction机制:通过将文件尾部块前移到可复用区间,再多次checkpoint后truncate缩小文件,但为best-effort不保证成功。同时说明backup cursor打开期间禁用日志删除与预分配改名,保证备份一致性,但会导致日志堆积,备份窗口应有界。

【WiredTiger 内核】Compaction 与 Backup:空间回收与一致性边界

土法炼钢兴趣小组的博客 土法炼钢兴趣小组的博客 · 2026-07-22T00:00:00Z

SQLite WAL模式将改动追加至-wal文件,主文件不变,实现读写不互阻。checkpoint为必要操作,PASSIVE不缩文件,仅TRUNCATE截断至零。实测显示PASSIVE后主文件增大而WAL不变,TRUNCATE后归零。SQLite WAL与PostgreSQL WAL同名但机制不同,前者帧参与读路径,后者仅恢复用。权衡读放大与checkpoint频率仍为开放问题。

【SQLite 内核】WAL 与 checkpoint:追加日志与读写并发

土法炼钢兴趣小组的博客 土法炼钢兴趣小组的博客 · 2026-07-18T00:00:00Z
肖恩·托马斯:期待Postgres 19:检查点控制

Postgres 19引入了CHECKPOINT命令的新功能,DBA可以选择FAST和SPREAD两种模式来优化写入性能。FAST模式快速完成检查点,而SPREAD模式则平滑写入,减少对存储的冲击。此外,新增的FLUSH_UNLOGGED选项允许手动刷新未记录表的数据。这些改进提升了CHECKPOINT的灵活性,以满足不同的数据库管理需求。

肖恩·托马斯:期待Postgres 19:检查点控制

Planet PostgreSQL Planet PostgreSQL · 2026-07-17T06:05:23Z

本文讨论了RocksDB的三种数据搬运机制:Checkpoint、BackupEngine和SstFileWriter。Checkpoint通过硬链接创建一致性快照,BackupEngine支持增量备份和跨文件系统恢复,SstFileWriter用于离线生成SST文件。这三种机制在一致性和操作方式上各有不同,适用于不同的生产运维场景。

【RocksDB 内核机制】Checkpoint、Backup 与 External Ingest

土法炼钢兴趣小组的博客 土法炼钢兴趣小组的博客 · 2026-07-07T00:00:00Z

本文讨论了Flink中的Checkpoint机制,强调其在有状态流作业中的重要性。Checkpoint通过绑定数据源读取位置和算子状态,确保作业失败时能够恢复一致性状态。文章介绍了Chandy-Lamport快照算法的变体、对齐与非对齐Checkpoint的优缺点,以及CheckpointCoordinator的生命周期和Kafka源的offset管理,并提供了调优建议以优化Checkpoint的性能和可靠性。

【流式数据处理】Checkpoint 机制:Barrier 对齐与一致性快照

土法炼钢兴趣小组的博客 土法炼钢兴趣小组的博客 · 2026-07-01T00:00:00Z

本文讨论了Flink中Savepoint与Checkpoint的区别及应用场景。Savepoint是用户手动触发的可移植快照,适用于版本升级和拓扑变更;Checkpoint是自动生成的,主要用于故障恢复。Savepoint支持状态迁移和并行度调整,但需注意UID管理和状态兼容性。文章还提供了操作命令、常见异常处理及版本升级检查清单,强调了在生产环境中使用Savepoint的重要性。

【流式数据处理】Savepoint 与升级恢复:状态演化与兼容边界

土法炼钢兴趣小组的博客 土法炼钢兴趣小组的博客 · 2026-07-01T00:00:00Z
克里斯托夫·佩图斯:所有的GUC参数一览:checkpoint_flush_after和checkpoint_warning

文章讨论了PostgreSQL中的两个检查点参数:checkpoint_flush_after和checkpoint_warning。checkpoint_flush_after控制写回操作,默认值为256kB,建议在Linux上保持不变。checkpoint_warning是日志参数,用于警告检查点过于频繁,默认值为30秒,建议在出现警告时增加max_wal_size。

克里斯托夫·佩图斯:所有的GUC参数一览:checkpoint_flush_after和checkpoint_warning

Planet PostgreSQL Planet PostgreSQL · 2026-05-23T01:00:00Z
克里斯托夫·佩图斯:将所有GUC参数一一列出:checkpoint_timeout和checkpoint_completion_target

本文讨论了PostgreSQL中的两个重要检查点参数:checkpoint_timeout和checkpoint_completion_target。检查点是确保脏页写入磁盘的时刻,影响崩溃恢复时间。建议将checkpoint_timeout设置为至少15分钟,以减少写放大和I/O负担,同时将checkpoint_completion_target设置为0.9,以平滑I/O负载。合理配置可提高系统性能和稳定性。

克里斯托夫·佩图斯:将所有GUC参数一一列出:checkpoint_timeout和checkpoint_completion_target

Planet PostgreSQL Planet PostgreSQL · 2026-05-22T01:00:00Z
Microsoft Agent Framework - Workflow 示例 — Checkpoint 与状态恢复

本文介绍了基于猜数字游戏的工作流检查点机制,包含同实例恢复、全新实例重建和人机交互三个示例。通过二分查找,游戏由两个执行者交替进行,展示了在不同场景下的状态保存与恢复。检查点管理器负责序列化状态,支持长流程恢复和调试。

Microsoft Agent Framework - Workflow 示例 — Checkpoint 与状态恢复

dotNET跨平台 dotNET跨平台 · 2026-05-02T00:01:24Z

Meta的LLaMA-3报告显示,405B模型在54天内发生466次中断,主要由于GPU故障。关键在于高效的checkpoint机制,包括异步写入和分布式存储。有效的故障容忍策略如热备节点、健康检查和自动识别慢节点,可以优化恢复时间,提高有效训练时间,从而降低成本,确保训练按期完成。

【大模型基础设施工程】10:Checkpoint 与故障容忍

土法炼钢兴趣小组的博客 土法炼钢兴趣小组的博客 · 2026-04-22T00:00:00Z
宣布Checkpoint/Restore工作组

Kubernetes成立了Checkpoint/Restore工作组,旨在将检查点/恢复功能集成到Kubernetes中,以优化资源利用、加速应用启动、实现容错、支持负载均衡和安全事件调查。该工作组将促进Kubernetes社区与CRIU生态系统的合作与讨论。

宣布Checkpoint/Restore工作组

Kubernetes Blog Kubernetes Blog · 2026-01-21T18:00:00Z
nanobot-checkpoint_manager

本文介绍了深度学习训练中检查点管理的核心技巧,包括向后兼容的配置演化、分布式训练状态管理、设备兼容的数据类型处理和内存高效的模型加载。强调了多层次API设计和人类可读的元数据存储,适合深度学习工程化实践。

nanobot-checkpoint_manager

plus studio plus studio · 2026-01-18T00:00:00Z
  • <<
  • <
  • 1 (current)
  • 2
  • >
  • >>
👤 个人中心
在公众号发送验证码完成验证
登录验证
在本设备完成一次验证即可继续使用

完成下面两步后,将自动完成登录并继续当前操作。

1 关注公众号
小红花技术领袖公众号二维码
小红花技术领袖
如果当前 App 无法识别二维码,请在微信搜索并关注该公众号
2 发送验证码
在公众号对话中发送下面 4 位验证码
小红花技术领袖俱乐部
小红花·文摘:汇聚分发优质内容
小红花技术领袖俱乐部
Copyright © 2021-
粤ICP备2022094092号-1
公众号 小红花技术领袖俱乐部公众号二维码
视频号 小红花技术领袖俱乐部视频号二维码