💡
原文英文,约500词,阅读约需2分钟。
📝
内容提要
2025年3月17日,谷歌云在Cloud Storage中推出层次命名空间(HNS)功能,优化AI和机器学习工作负载。HNS支持原子文件夹操作,提升检查点写入速度,最多可提高20倍,并改善存储布局,支持更高的读写查询速率,特别适合大规模集群。启用HNS需在创建存储桶时配置。
🎯
关键要点
- 2025年3月17日,谷歌云在Cloud Storage中推出层次命名空间(HNS)功能,旨在优化AI和机器学习工作负载。
- HNS支持原子文件夹操作,提升检查点写入速度,最多可提高20倍。
- HNS通过新的RenameFolder API实现元数据操作,显著缩短任务完成时间。
- AssemblyAI报告使用HNS后,Google Cloud Storage的吞吐量提高了10倍,训练速度提升了15倍。
- HNS优化存储布局,支持更高的读写查询速率,特别适合大规模集群的AI/ML工作负载。
- HNS提供的初始对象读写QPS比平面命名空间高出8倍,有助于更好地利用计算资源。
- 启用HNS需在创建存储桶时配置,无法在现有存储桶上回溯启用。
- 使用gcloud CLI或Google Cloud Console可以配置HNS,确保存储桶优化用于AI和机器学习场景。
❓
延伸问答
谷歌云的层次命名空间(HNS)有什么主要功能?
HNS主要功能包括支持原子文件夹操作、提升检查点写入速度、优化存储布局和提高读写查询速率。
启用HNS需要在什么情况下进行配置?
启用HNS需在创建存储桶时配置,无法在现有存储桶上回溯启用。
使用HNS后,Google Cloud Storage的性能提升有多大?
使用HNS后,Google Cloud Storage的吞吐量提高了10倍,训练速度提升了15倍。
HNS如何改善AI/ML工作负载的效率?
HNS通过支持更高的读写查询速率和更快的检查点写入,帮助最大化GPU和TPU的利用率,从而提高AI/ML工作负载的效率。
如何在Google Cloud Console中启用层次命名空间?
在Google Cloud Console中,选择“创建存储桶”,在高级设置中勾选启用层次命名空间的选项,然后完成其余设置。
HNS与传统平面命名空间相比有什么优势?
HNS支持原子文件夹操作,检查点写入速度可提高20倍,初始对象读写QPS比平面命名空间高出8倍。
➡️