小红花·文摘
  • 首页
  • AI Tokens🪙
  • 排行榜🏆
  • 直播
  • FAQ
AI Runtime上的快速、容错PyTorch训练

在大规模AI训练中,GPU利用率取决于“好吞吐”,即有效计算时间占比。数据加载和检查点机制是关键:频繁异步保存检查点(如每30分钟)可减少故障恢复成本,提升好吞吐至91%;数据管道需重叠预取和本地缓存,避免GPU空闲。同时,检查点需包含数据位置和随机数状态,确保恢复后训练正确。

AI Runtime上的快速、容错PyTorch训练

Databricks Databricks · 2026-08-28T01:15:00Z
Jeremy Schneider:Postgres检查点后续与排序规则可视化及Codex Luna

本文讨论了PostgreSQL中checkpoint_timeout设置对高可用性的影响,指出即使有HA副本,若主库重启耗时过长,副本也可能面临同样问题,因此建议保持默认值以确保稳健性。随后介绍了Postgres排序规则更新项目,包括使用Docker和GitHub Actions进行测试,并提及使用OpenAI Codex的Luna模型以低成本高效完成项目,展示了其性价比。

Jeremy Schneider:Postgres检查点后续与排序规则可视化及Codex Luna

Planet PostgreSQL Planet PostgreSQL · 2026-08-12T21:05:30Z

本文介绍MongoDB手册中WiredTiger存储引擎的运维参数映射:缓存大小、约60秒检查点、日志与历史窗口等旋钮对应内核机制;列出数据目录关键文件(.wt、WiredTigerHS.wt、日志等);明确不展开复制集、分片等边界;强调调参前需回看机制篇,避免误操作。

【WiredTiger 内核】MongoDB 嵌入边界:cache、checkpoint 与历史窗口

土法炼钢兴趣小组的博客 土法炼钢兴趣小组的博客 · 2026-07-22T00:00:00Z
肖恩·托马斯:期待Postgres 19:检查点控制

Postgres 19引入了CHECKPOINT命令的新功能,DBA可以选择FAST和SPREAD两种模式来优化写入性能。FAST模式快速完成检查点,而SPREAD模式则平滑写入,减少对存储的冲击。此外,新增的FLUSH_UNLOGGED选项允许手动刷新未记录表的数据。这些改进提升了CHECKPOINT的灵活性,以满足不同的数据库管理需求。

肖恩·托马斯:期待Postgres 19:检查点控制

Planet PostgreSQL Planet PostgreSQL · 2026-07-17T06:05:23Z
杰里米·施奈德:幸福提示:检查点时间警报

数据库的检查点是核心功能,负责将脏页写入磁盘。检查点滞后可能导致数据库无法恢复。文章回顾了两个事件,强调在检查点问题时重启数据库的风险。健康系统的检查点快速完成,而不健康系统在负载过重时可能延迟至一小时。应避免在检查点滞后时重启数据库。

杰里米·施奈德:幸福提示:检查点时间警报

Planet PostgreSQL Planet PostgreSQL · 2026-06-24T08:20:40Z
通过对Postgres数据库进行气灯效应创建检查点

本文讨论了AI代理在数据库创建和使用中的作用,指出它们在基础设施清理方面的不足。介绍了数据库分支、零扩展和集中访问控制如何帮助团队适应代理驱动的发展。Databricks Lakebase是一个兼容Postgres的操作数据库,具有快速分支和计算存储分离的特点。

通过对Postgres数据库进行气灯效应创建检查点

Stack Overflow Blog Stack Overflow Blog · 2026-06-09T07:40:00Z
克里斯托夫·佩图斯:所有的GUC参数一览:checkpoint_flush_after和checkpoint_warning

文章讨论了PostgreSQL中的两个检查点参数:checkpoint_flush_after和checkpoint_warning。checkpoint_flush_after控制写回操作,默认值为256kB,建议在Linux上保持不变。checkpoint_warning是日志参数,用于警告检查点过于频繁,默认值为30秒,建议在出现警告时增加max_wal_size。

克里斯托夫·佩图斯:所有的GUC参数一览:checkpoint_flush_after和checkpoint_warning

Planet PostgreSQL Planet PostgreSQL · 2026-05-23T01:00:00Z
克里斯托夫·佩图斯:将所有GUC参数一一列出:checkpoint_timeout和checkpoint_completion_target

本文讨论了PostgreSQL中的两个重要检查点参数:checkpoint_timeout和checkpoint_completion_target。检查点是确保脏页写入磁盘的时刻,影响崩溃恢复时间。建议将checkpoint_timeout设置为至少15分钟,以减少写放大和I/O负担,同时将checkpoint_completion_target设置为0.9,以平滑I/O负载。合理配置可提高系统性能和稳定性。

克里斯托夫·佩图斯:将所有GUC参数一一列出:checkpoint_timeout和checkpoint_completion_target

Planet PostgreSQL Planet PostgreSQL · 2026-05-22T01:00:00Z
深度分析 FAST 2002–2026:AI 时代来了,存储系统的问题变了吗?

本文回顾了存储系统研究的演变,强调在AI时代,传统存储问题如缓存、恢复和文件系统重新受到关注。通过分析FAST会议的论文,发现AI并未取代旧问题,而是促使其以新形式回归。研究显示,KV缓存、模型加载和检查点等主题在存储系统中变得更加重要,反映出存储研究的主线逐渐转向服务和数据路径的协同。

深度分析 FAST 2002–2026:AI 时代来了,存储系统的问题变了吗?

Steins;Lab Steins;Lab · 2026-04-13T12:59:46Z
肖恩·托马斯:检查点、写入风暴与您

Postgres通过预写日志(WAL)解决内存与磁盘的矛盾。检查点是将脏页写入磁盘的过程,处理不当会影响性能。合理设置max_wal_size可以减少强制检查点,从而提升系统性能。监控检查点活动是优化数据库的重要步骤。

肖恩·托马斯:检查点、写入风暴与您

Planet PostgreSQL Planet PostgreSQL · 2026-04-10T06:06:37Z
Jobin Augustine:PostgreSQL中检查点调优的重要性

检查点调优在许多博客中被讨论,但常常被忽视,导致服务器资源浪费和性能问题。检查点是PostgreSQL确保数据一致性的时间点,合理调节检查点间隔可减少WAL生成,提高性能并降低I/O负担,用户通常可获得约10%的性能提升。

Jobin Augustine:PostgreSQL中检查点调优的重要性

Planet PostgreSQL Planet PostgreSQL · 2026-02-02T15:04:30Z
PostgreSQL中检查点调优的重要性

检查点调优对PostgreSQL性能至关重要。合理配置检查点间隔可减少WAL生成,提升性能,避免频繁检查点导致的I/O高峰,从而提高系统效率,减轻备份和存储负担。

PostgreSQL中检查点调优的重要性

Percona Database Performance Blog Percona Database Performance Blog · 2026-02-02T15:04:30Z
宣布Checkpoint/Restore工作组

Kubernetes成立了Checkpoint/Restore工作组,旨在将检查点/恢复功能集成到Kubernetes中,以优化资源利用、加速应用启动、实现容错、支持负载均衡和安全事件调查。该工作组将促进Kubernetes社区与CRIU生态系统的合作与讨论。

宣布Checkpoint/Restore工作组

Kubernetes Blog Kubernetes Blog · 2026-01-21T18:00:00Z
在内存受限环境中使用混合精度和梯度检查点训练模型

训练语言模型需要大量内存,尤其是处理长序列数据。本文介绍了在内存受限环境中训练模型的技术,包括低精度浮点数、混合精度训练和梯度检查点,这些方法能有效节省内存并提升训练效率。

在内存受限环境中使用混合精度和梯度检查点训练模型

MachineLearningMastery.com MachineLearningMastery.com · 2025-12-24T17:43:03Z
MoE-PHDS:一个用于灵活运行时稀疏性的MoE检查点

本文介绍了MoE-PHDS(后hoc声明稀疏性),一种轻量级的SFT方法,允许在推理时灵活调整稀疏性,而无需更换模型或架构。PHDS通过在不同稀疏水平上训练,提高了模型的准确性和延迟可预测性,简化了MoE的部署,并提升了跨稀疏性的一致性。实验结果显示,PHDS在多个操作点上优于传统模型。

MoE-PHDS:一个用于灵活运行时稀疏性的MoE检查点

Apple Machine Learning Research Apple Machine Learning Research · 2025-12-11T00:00:00Z
在 Amazon SageMaker HyperPod 上推出无检查点和弹性训练

Amazon SageMaker HyperPod 推出了无检查点训练和弹性训练功能,前者减少恢复时间,提高模型开发效率;后者自动调整资源使用,最大化集群利用率。这些技术帮助团队专注于模型性能,缩短训练时间。

在 Amazon SageMaker HyperPod 上推出无检查点和弹性训练

亚马逊AWS官方博客 亚马逊AWS官方博客 · 2025-12-08T02:29:07Z
Umair Shahid:PostgreSQL中的“脏页”是什么?

PostgreSQL中的“脏页”是指内存中已修改但尚未写入磁盘的数据页。它们会影响性能,尤其在检查点期间可能导致I/O峰值。通过调整共享缓冲区、后台写入器和检查点参数,可以优化脏页处理,减少查询延迟,确保数据持久性。

Umair Shahid:PostgreSQL中的“脏页”是什么?

Planet PostgreSQL Planet PostgreSQL · 2025-10-31T07:52:18Z
LangGraph Redis 检查点 0.1.0:从“让它工作”到“让它更快”

LangGraph Redis 0.1.0版本进行了全面重构,优化了检查点数据存储,性能显著提升。通过去规范化存储、使用有序集合和批处理管道,获取检查点速度提升12.4倍,列表检查点速度提升31.6倍。新版本不兼容旧版本,专注于新部署的性能优化。

LangGraph Redis 检查点 0.1.0:从“让它工作”到“让它更快”

Redis Blog Redis Blog · 2025-08-29T00:00:00Z
Flink中的容错机制是如何工作的

Apache Flink是一个分布式流处理框架,利用检查点机制实现容错。它定期保存应用状态,确保在故障时可恢复。Flink通过障碍记录对齐操作符状态,并管理状态后端。在故障发生时,Flink从最后一个完成的检查点重启作业,确保数据不丢失。

Flink中的容错机制是如何工作的

DEV Community DEV Community · 2025-03-16T12:11:07Z
使用GitHub Copilot Edits(预览版)更高效地跨多个文件进行迭代

GitHub Copilot Edits在Visual Studio 2022中提升了代码迭代效率,用户可查看受影响文件和建议更改,直接比较代码差异,并使用检查点回顾早期版本。该功能适用于Visual Studio 2022的17.13 Preview 3及以上版本。

使用GitHub Copilot Edits(预览版)更高效地跨多个文件进行迭代

Visual Studio Blog Visual Studio Blog · 2025-01-28T13:00:58Z
  • <<
  • <
  • 1 (current)
  • 2
  • 3
  • >
  • >>
👤 个人中心
在公众号发送验证码完成验证
登录验证
在本设备完成一次验证即可继续使用

完成下面两步后,将自动完成登录并继续当前操作。

1 关注公众号
小红花技术领袖公众号二维码
小红花技术领袖
如果当前 App 无法识别二维码,请在微信搜索并关注该公众号
2 发送验证码
在公众号对话中发送下面 4 位验证码
友情链接: MOGE.AI 九胧科技 1tok 菜鸟教程 Remio.AI DeekSeek连连 53AI 神龙海外代理IP IPIPGO全球代理IP 东波哥的博客 匡优考试在线考试系统 开源服务指南 蓝莺IM Solo 独立开发者社区 AI酷站导航 极客Fun 我爱水煮鱼 周报生成器 He3.app 简单简历 白鲸出海 T沙龙 职友集 TechParty 蟒周刊 Best AI Music Generator 模力方舟 Gitee AI

小红花技术领袖俱乐部
小红花·文摘:汇聚分发优质内容
小红花技术领袖俱乐部
Copyright © 2021-
粤ICP备2022094092号-1
公众号 小红花技术领袖俱乐部公众号二维码
视频号 小红花技术领袖俱乐部视频号二维码