一些关于3FS的性能测试
💡
原文英文,约400词,阅读约需2分钟。
📝
内容提要
本文介绍了一个Python程序,用于生成指定大小的模拟checkpoint文件并测量存储速度。程序通过命令行参数设置文件大小和保存目录,利用PyTorch库生成随机数据并保存,最后输出存储速度。
🎯
关键要点
-
本文介绍了一个Python程序,用于生成指定大小的模拟checkpoint文件并测量存储速度。
-
程序通过命令行参数设置文件大小和保存目录。
-
利用PyTorch库生成随机数据并保存。
-
程序输出存储速度,以MB/s为单位。
-
生成的checkpoint文件大小以MB为单位,默认大小为100MB。
-
保存目录默认设置为'/3fs/stage/checkpoint'。
-
程序使用os和time库来处理文件和测量时间。
➡️