陈少文的博客
·
在 Kubernetes 中使用 Fluid 挂载 3FS 存储及性能测试
内容提要
本文介绍了如何将3FS与Fluid对接，3FS是一个开源的分布式存储系统。通过Fluid，可以方便地管理存储、创建PVC并自动挂载。文章详细描述了编译3FS的builder镜像、制作ThinRuntime镜像及使用Fluid挂载3FS存储的步骤，并进行了性能测试，读取速度达到12GB/s，写入速度约为1.6GB/s。
关键要点
-
3FS 是一个开源的分布式存储系统，因其优异性能而受到关注。
-
使用 Fluid 可以方便地管理存储、创建 PVC 并自动挂载。
-
编译 3FS 的 builder 镜像可以提供容器化的编译环境，避免影响主机配置。
-
ThinRuntime 镜像可以快速对接 mount 类型存储，Fluid 提供存储配置和管理能力。
-
使用 Fluid 挂载 3FS 存储需要创建 ThinRuntimeProfile、Dataset 和 ThinRuntime。
-
性能测试显示 3FS 的读取速度达到 12GB/s，写入速度约为 1.6GB/s。
-
文章总结了将 3FS 对接到 Fluid 的步骤和性能测试结果。
延伸解读
3FS 的性能优势
3FS 作为一个开源的分布式存储系统，其读取速度高达 12GB/s，写入速度约为 1.6GB/s。这种性能使其在需要高吞吐量的应用场景中表现优异，尤其适合 AI 训练和推理等对存储性能要求较高的任务。
Fluid 的管理便利性
通过 Fluid，用户可以轻松管理 3FS 存储，自动创建 PVC 并进行挂载。这种自动化管理不仅提高了效率，还减少了手动配置的复杂性，适合需要快速部署和频繁变更存储配置的环境。
编译与部署的注意事项
在编译 3FS 的 builder 镜像时，建议使用高配置的服务器环境，以避免因资源不足导致的编译失败。此外，确保 Dockerfile 中的依赖完整，以便顺利构建运行环境。
性能测试的可靠性
文章中提到的性能测试使用了 FIO 工具，结果显示主机与 Pod 的读写性能基本一致。这表明在 Kubernetes 环境中使用 3FS 的性能是可靠的，适合在生产环境中进行大规模数据处理。
延伸问答
3FS是什么？
3FS是一个开源的分布式存储系统，以其优异的性能而受到关注。
如何使用Fluid管理3FS存储？
使用Fluid可以方便地创建PVC并自动挂载3FS存储，需创建ThinRuntimeProfile、Dataset和ThinRuntime。
3FS的性能测试结果如何？
性能测试显示3FS的读取速度达到12GB/s，写入速度约为1.6GB/s。
编译3FS的builder镜像有什么好处？
编译3FS的builder镜像提供容器化的编译环境，避免影响主机配置，并确保完整的依赖环境。
如何创建ThinRuntimeProfile？
可以通过kubectl命令创建ThinRuntimeProfile，指定文件系统类型和相关镜像信息。
Fluid如何支持不同版本的配置文件？
Fluid从v1.1版本开始使用/etc/fluid/config/config.json作为配置文件，并在脚本中做了兼容处理以支持不同版本。
