一些关于3FS的性能测试

💡 原文英文,约400词,阅读约需2分钟。
📝

内容提要

本文介绍了一个Python程序,用于生成指定大小的模拟checkpoint文件并测量存储速度。程序通过命令行参数设置文件大小和保存目录,利用PyTorch库生成随机数据并保存,最后输出存储速度。

🎯

关键要点

  • 本文介绍了一个Python程序,用于生成指定大小的模拟checkpoint文件并测量存储速度。

  • 程序通过命令行参数设置文件大小和保存目录。

  • 利用PyTorch库生成随机数据并保存。

  • 程序输出存储速度,以MB/s为单位。

  • 生成的checkpoint文件大小以MB为单位,默认大小为100MB。

  • 保存目录默认设置为'/3fs/stage/checkpoint'。

  • 程序使用os和time库来处理文件和测量时间。

➡️

继续阅读