InfoQ
·
谷歌云通过Cloud Storage中的层次命名空间增强AI/ML工作流程
内容提要
2025年3月17日，谷歌云在Cloud Storage中推出层次命名空间（HNS）功能，优化AI和机器学习工作负载。HNS支持原子文件夹操作，提升检查点写入速度，最多可提高20倍，并改善存储布局，支持更高的读写查询速率，特别适合大规模集群。启用HNS需在创建存储桶时配置。
关键要点
-
2025年3月17日，谷歌云在Cloud Storage中推出层次命名空间（HNS）功能，旨在优化AI和机器学习工作负载。
-
HNS支持原子文件夹操作，提升检查点写入速度，最多可提高20倍。
-
HNS通过新的RenameFolder API实现元数据操作，显著缩短任务完成时间。
-
AssemblyAI报告使用HNS后，Google Cloud Storage的吞吐量提高了10倍，训练速度提升了15倍。
-
HNS优化存储布局，支持更高的读写查询速率，特别适合大规模集群的AI/ML工作负载。
-
HNS提供的初始对象读写QPS比平面命名空间高出8倍，有助于更好地利用计算资源。
-
启用HNS需在创建存储桶时配置，无法在现有存储桶上回溯启用。
-
使用gcloud CLI或Google Cloud Console可以配置HNS，确保存储桶优化用于AI和机器学习场景。
延伸解读
层次命名空间的优势
谷歌云的层次命名空间（HNS）显著提升了AI和机器学习工作负载的性能，尤其是在模型训练过程中。通过支持原子文件夹操作，HNS能够将检查点写入速度提高至20倍，减少了传统平面命名空间的时间和错误风险。这一改进使得开发者在处理大规模数据时更加高效。
配置注意事项
启用HNS功能需要在创建存储桶时进行配置，无法在现有存储桶上回溯启用。这意味着用户在设置存储环境时需提前考虑HNS的需求，以确保后续的AI/ML工作流能够充分利用其性能优势。
实际应用效果
根据AssemblyAI的报告，使用HNS后，Google Cloud Storage的吞吐量提高了10倍，训练速度提升了15倍。这表明HNS在实际应用中能够显著改善数据处理效率，尤其是在需要高并发读写的场景下，用户应关注其在特定工作负载下的表现。
延伸问答
谷歌云的层次命名空间（HNS）有什么主要功能？
HNS主要功能包括支持原子文件夹操作、提升检查点写入速度、优化存储布局和提高读写查询速率。
启用HNS需要在什么情况下进行配置？
启用HNS需在创建存储桶时配置，无法在现有存储桶上回溯启用。
使用HNS后，Google Cloud Storage的性能提升有多大？
使用HNS后，Google Cloud Storage的吞吐量提高了10倍，训练速度提升了15倍。
HNS如何改善AI/ML工作负载的效率？
HNS通过支持更高的读写查询速率和更快的检查点写入，帮助最大化GPU和TPU的利用率，从而提高AI/ML工作负载的效率。
如何在Google Cloud Console中启用层次命名空间？
在Google Cloud Console中，选择“创建存储桶”，在高级设置中勾选启用层次命名空间的选项，然后完成其余设置。
HNS与传统平面命名空间相比有什么优势？
HNS支持原子文件夹操作，检查点写入速度可提高20倍，初始对象读写QPS比平面命名空间高出8倍。
