陈少文的博客
·
为什么 NFS Over RDMA 比 NFS 的 FIO 大块读写性能好很多
💡
原文中文，约2500字，阅读约需6分钟。
📝
内容提要
在测试NFS Over RDMA性能时，4M文件的读取速度达到45GB/s，远超磁盘的6GB/s。NFS Over RDMA通过减少数据拷贝和CPU占用，实现更高的吞吐量和更低的延迟，适合高性能计算和大规模存储。
🎯
关键要点
- 在测试NFS Over RDMA性能时，4M文件的读取速度达到45GB/s。
- 磁盘的4M多线程读取性能只有6GB/s。
- NFS Over RDMA通过减少数据拷贝和CPU占用，实现更高的吞吐量和更低的延迟。
- NFS的传输路径涉及多次数据拷贝，CPU占用高，延迟较高。
- NFS Over RDMA的传输路径绕过内核网络协议栈，减少了数据拷贝，CPU负担低，延迟低。
- NFS适用于一般网络环境，而NFS Over RDMA适用于高性能计算和大规模分布式存储。
- NFS部署较简单，而NFS Over RDMA需要支持RDMA的硬件，部署较复杂。
- 内存的读写速度分别达到145 GB/s和79.9 GB/s，远高于单个RDMA网卡的45 GB/s。
- FIO测试大文件吞吐时的瓶颈是RDMA网络传输速度。
❓
延伸问答
NFS Over RDMA的读取速度有多快？
NFS Over RDMA在测试中4M文件的读取速度达到45GB/s。
NFS和NFS Over RDMA的主要区别是什么？
NFS Over RDMA通过减少数据拷贝和CPU占用，实现更高的吞吐量和更低的延迟，而NFS则需要多次数据拷贝，CPU占用高，延迟较高。
为什么NFS Over RDMA适合高性能计算？
NFS Over RDMA适合高性能计算，因为它提供更高的带宽和更低的延迟，适合大规模分布式存储。
NFS Over RDMA的部署复杂度如何？
NFS Over RDMA的部署较复杂，需要支持RDMA的硬件，而NFS则易于部署，适用于标准以太网。
NFS的传输路径是怎样的？
NFS的传输路径涉及多次数据拷贝，包括从磁盘到内核页缓存，再到用户态内存和网络缓冲区等。
FIO测试中，NFS的多线程读取性能是多少？
在FIO测试中，NFS的4M多线程读取性能只有6GB/s。
➡️
