本文介绍Rook/CephFS CSI在Kubernetes中的使用。CephFS CSI通过subvolume提供ReadWriteMany共享存储，需先创建CephFilesystem。相比RBD，CephFS的"税"在MDS可用性、元数据池延迟和capability协议上。文章强调RWX不等于免费NFS，频繁fsync或元数据密集负载不适合。还讨论了kclient与fuse选择、跨Namespace静态PV共享、配额假满问题，以及常见故障排查。最后给出适用场景：多副本只读配置、制品缓存等，并建议避免将数据库等同步写负载放在CephFS上。

CephFS将POSIX文件系统构建于RADOS之上，MDS作为可恢复状态机，通过journal持久化元数据。其核心挑战包括：MDS故障恢复、capability机制维持客户端缓存一致性、多active MDS的subtree迁移可能引发thrashing，以及fsync/stat操作的高网络往返成本。相比RBD，CephFS在元数据面（journal、caps、subtree、dirfrag）付出更高代价，快照需客户端协作，性能与一致性权衡复杂。

我们有给客户搭建私有容器仓库的需求。开源的私有容器registry可供选择的不多，除了docker官方的distribution之外，比较知名的是VMware China出品的Harbor，我们选择了harbor。 harbor在docker distribution的基础上增加了一些安全、访问控制、管理的功能以满足企业对于镜像仓库的需求。harbor以docker-compose的规范形式组织各...

在Kubernetes集群中运行有状态服务或应用总是不那么容易的。比如，之前我在项目中使用了CephRBD，虽然遇到过几次问题，但总体算是运行良好。但最近发现CephRBD无法满足跨节点挂载的需求，我只好另辟蹊径。由于CephFS和CephRBD师出同门，它自然成为了这次我首要考察的目标。这里将跨节点挂载CephFS的考察过程记录一下，一是备忘，二则也可以为其他有相似需求的朋友提供些资料。 一、C...