陈少文的博客
·
为什么 NFS Over RDMA 比 NFS 的 FIO 大块读写性能好很多
内容提要
在测试NFS Over RDMA性能时，4M文件的读取速度达到45GB/s，远超磁盘的6GB/s。NFS Over RDMA通过减少数据拷贝和CPU占用，实现更高的吞吐量和更低的延迟，适合高性能计算和大规模存储。
关键要点
-
在测试NFS Over RDMA性能时，4M文件的读取速度达到45GB/s。
-
磁盘的4M多线程读取性能只有6GB/s。
-
NFS Over RDMA通过减少数据拷贝和CPU占用，实现更高的吞吐量和更低的延迟。
-
NFS的传输路径涉及多次数据拷贝，CPU占用高，延迟较高。
-
NFS Over RDMA的传输路径绕过内核网络协议栈，减少了数据拷贝，CPU负担低，延迟低。
-
NFS适用于一般网络环境，而NFS Over RDMA适用于高性能计算和大规模分布式存储。
-
NFS部署较简单，而NFS Over RDMA需要支持RDMA的硬件，部署较复杂。
-
内存的读写速度分别达到145 GB/s和79.9 GB/s，远高于单个RDMA网卡的45 GB/s。
-
FIO测试大文件吞吐时的瓶颈是RDMA网络传输速度。
延伸解读
NFS Over RDMA的优势
NFS Over RDMA通过绕过内核网络协议栈，显著降低了数据拷贝次数，从而提高了吞吐量和降低了延迟。这使得它在高性能计算和大规模存储环境中表现优异，适合需要快速数据传输的应用场景。
部署复杂度与硬件要求
虽然NFS部署相对简单，但NFS Over RDMA需要支持RDMA的专用硬件，如RoCE或InfiniBand网卡，这增加了部署的复杂性。用户在选择时需考虑现有硬件的兼容性及未来的扩展需求。
性能瓶颈分析
在进行大文件吞吐测试时，RDMA网络传输速度成为瓶颈，尽管内存的读写速度远高于RDMA网卡的性能。这提示用户在设计系统时需关注网络传输能力，以避免影响整体性能。
延伸问答
NFS Over RDMA的读取速度有多快？
NFS Over RDMA在测试中4M文件的读取速度达到45GB/s。
NFS和NFS Over RDMA的主要区别是什么？
NFS Over RDMA通过减少数据拷贝和CPU占用，实现更高的吞吐量和更低的延迟，而NFS则需要多次数据拷贝，CPU占用高，延迟较高。
为什么NFS Over RDMA适合高性能计算？
NFS Over RDMA适合高性能计算，因为它提供更高的带宽和更低的延迟，适合大规模分布式存储。
NFS Over RDMA的部署复杂度如何？
NFS Over RDMA的部署较复杂，需要支持RDMA的硬件，而NFS则易于部署，适用于标准以太网。
NFS的传输路径是怎样的？
NFS的传输路径涉及多次数据拷贝，包括从磁盘到内核页缓存，再到用户态内存和网络缓冲区等。
FIO测试中，NFS的多线程读取性能是多少？
在FIO测试中，NFS的4M多线程读取性能只有6GB/s。
