陈少文的博客 ·

3FS 的一些性能测试

Q: 模型加载时间大约需要多久？

模型加载时间为 10 至 12 分钟。

💡 原文中文，约8500字，阅读约需21分钟。

📝

内容提要

本文介绍了对 NVMe SSD 和 3FS 集群的性能测试。测试结果显示，3FS 在多线程大块读写操作中表现优越，单线程和多线程下的读写速率和 IOPS 数据均有良好表现。checkpoint 存储速度为 246.50 MB/s，模型加载时间为 10 至 12 分钟，总带宽约为 1~1.2 GBps。

🎯

关键要点

测试使用了两块 NVMe SSD 和两个节点组成的 3FS 集群。
单线程下，128K 块大小的读速率为 2211 MiB/s，写速率为 3703 MiB/s，IOPS 分别为 17.7k 和 29.6k。
多线程下，128K 块大小的读速率为 6237 MiB/s，写速率为 3873 MiB/s，IOPS 分别为 49.9k 和 31.0k。
3FS 在多线程大块读写操作中表现优越，单线程小块读写操作性能较差。
Checkpoint 存储速度为 246.50 MB/s。
模型加载时间为 10 至 12 分钟，总带宽约为 1~1.2 GBps。

🔎

延伸解读

3FS 集群的优势

3FS 集群在多线程大块读写操作中表现出色，尤其在处理大数据量时，读写速率和 IOPS 显著高于单线程操作。这使得 3FS 特别适合需要高并发和大数据吞吐量的应用场景，如数据分析和机器学习模型训练。

性能测试的局限性

尽管 3FS 在多线程环境下表现优异，但在单线程小块读写操作中，其性能较差。这意味着在某些特定应用中，3FS 可能无法满足需求，用户在选择时需考虑具体的使用场景和数据特性。

Checkpoint 存储速度的实用性

Checkpoint 存储速度为 246.50 MB/s，表明在模型训练和数据恢复过程中，3FS 能够有效支持快速存储。这对于需要频繁保存模型状态的深度学习任务尤为重要，能够减少训练中断带来的损失。

❓

延伸问答

3FS 集群的性能测试结果如何？

3FS 在多线程大块读写操作中表现优越，单线程小块读写操作性能较差。

在单线程下，3FS 的读写速率是多少？

单线程下，128K 块大小的读速率为 2211 MiB/s，写速率为 3703 MiB/s。

多线程下，3FS 的性能表现如何？

多线程下，128K 块大小的读速率为 6237 MiB/s，写速率为 3873 MiB/s。

3FS 的 checkpoint 存储速度是多少？

Checkpoint 存储速度为 246.50 MB/s。

模型加载时间大约需要多久？