陈少文的博客
·
使用 Fluid 和 S3FS 对接 S3 存储及性能测试
💡
原文中文，约3800字，阅读约需9分钟。
📝
内容提要
本文介绍了如何使用Fluid 1.0版本配置和挂载S3存储，包括制作镜像、创建Dataset和ThinRuntimeProfile、性能测试及资源清理。性能测试结果显示，写入大文件速度为194.80 MiB/s，读取大文件速度为100.50 MiB/s。
🎯
关键要点
- 使用Fluid 1.0版本配置和挂载S3存储，需调整配置文件路径。
- 制作镜像的步骤包括编写fluid_config_init.py、entrypoint.sh和Dockerfile。
- 通过kubectl命令创建Dataset和ThinRuntimeProfile，配置S3存储的访问权限。
- 性能测试结果显示，写入大文件速度为194.80 MiB/s，读取大文件速度为100.50 MiB/s。
- 完成后需清理资源，包括删除Pod、ThinRuntime和Dataset。
❓
延伸问答
如何使用Fluid 1.0配置S3存储？
使用Fluid 1.0配置S3存储需要调整配置文件路径，制作镜像，创建Dataset和ThinRuntimeProfile。
制作S3存储镜像的步骤是什么？
制作镜像的步骤包括编写fluid_config_init.py、entrypoint.sh和Dockerfile，并使用docker build命令构建镜像。
S3存储的性能测试结果如何？
性能测试结果显示，写入大文件速度为194.80 MiB/s，读取大文件速度为100.50 MiB/s。
如何创建Dataset和ThinRuntimeProfile？
可以通过kubectl命令创建Dataset和ThinRuntimeProfile，配置S3存储的访问权限。
在使用Fluid对接S3存储后如何清理资源？
清理资源时需要删除Pod、ThinRuntime和Dataset，可以使用kubectl delete命令。
Fluid 1.0版本与高版本的配置文件路径有什么不同？
Fluid 1.0版本的配置文件路径发生了变化，需要根据实际情况进行调整。
➡️
