实用存储层次与性能：从HDD到片上缓存（2024）
内容提要
本文总结了本地存储介质、网络基础设施和远程存储系统的带宽信息，识别IO密集型应用中的瓶颈。讨论了HDD、SSD及其连接接口（如SATA和PCIe）的性能特点，以及网络带宽对存储性能的影响。提及高性能存储解决方案如阿里云的CPFS和开源Ceph，强调其在AI训练中的应用。
延伸解读
存储介质带宽的层级差异
文章指出，HDD受机械因素限制，峰值IO约200MB/s，远低于SATA 3.0接口的600MB/s上限；SATA SSD可跑满SATA总线，达到600MB/s；而PCIe NVMe SSD凭借直连PCIe总线和4条通道，在Gen4下峰值达7.5GB/s，Gen5下约13GB/s。这种数量级差异意味着，在IO密集型应用中，若仍使用HDD或SATA SSD，存储介质本身就可能成为首要瓶颈，而非接口或网络。
网络带宽：远程存储的新瓶颈
当涉及远程IO（如Ceph、AWS S3或NAS）时，瓶颈会转移到网络带宽。传统数据中心常见的每服务器网络配置为6.25GB/s、25GB/s和50GB/s。文章强调，这类网络主要用于GPU间通信，并非为通用数据IO设计。因此，在分布式存储场景下，即使本地存储和网络都很快，远程存储系统本身的聚合带宽也可能成为限制因素。
高性能存储的聚合带宽与单节点限制
文章提到，阿里云CPFS声称提供高达2TB/s的聚合带宽，开源Ceph在68节点*2*100Gbps配置下实现1TB/s聚合吞吐。但需注意，这些是跨多节点的聚合值，单节点无法达到。读者在评估自身系统时，应区分聚合带宽与单节点可用带宽，避免误判实际IO能力。
从片上缓存到远程存储的完整视角
文章梳理了从HDD、SSD、内存、GDDR、HBM到片上SRAM的带宽层级，并加入网络和分布式存储聚合带宽。这种全景视角有助于定位IO瓶颈：例如，在AI训练中，若数据加载慢，需依次检查本地存储介质、网络带宽和远程存储系统，而非仅关注单一环节。
Q&A
HDD和SSD的性能差异是什么？
HDD的峰值IO性能约为200MB/s，而SATA SSD的峰值为600MB/s，SSD的速度是HDD的三倍。
PCIe接口的NVME SSD有哪些优势？
PCIe接口的NVME SSD具有更高的带宽，PCIe Gen4的峰值为7.5GB/s，Gen5为13GB/s，远高于SATA SSD。
网络带宽如何影响存储性能？
网络带宽对存储性能有显著影响，传统数据中心的网络配置通常为6.25GB/s、25GB/s和50GB/s。
阿里云的CPFS存储解决方案有什么特点？
阿里云的云并行文件存储（CPFS）提供高达2TB/s的聚合带宽，适合高性能存储需求。
Ceph在存储性能方面的表现如何？
开源的Ceph在68节点配置下可实现1TB/s的聚合吞吐量，表现出色。
如何识别IO密集型应用中的瓶颈？
可以通过评估本地存储介质、网络基础设施和远程存储系统的带宽信息来识别瓶颈。
