【SPDK 用户态存储】环境与绑盘：Hugepage、CPU 亲和与 VFIO/UIO
内容提要
本文介绍SPDK用户态存储栈的环境准备与设备绑定。核心是：通过setup.sh分配hugepage并解绑NVMe设备，推荐使用VFIO+IOMMU路径确保DMA安全；设备独占会移除内核块设备路径，需用reset回退；CPU亲和需预留内核核；容器编排需将绑盘和大页视为节点状态。
延伸解读
setup.sh 不是驱动安装器
常见误区是把 scripts/setup.sh 当作“装驱动”的脚本。实际上它做两件事：分配 hugepage，并把 NVMe 等 PCI 设备从内核驱动解绑，再绑定到 VFIO 或 UIO。它不安装任何内核模块，也不改变 SPDK 本身的代码。理解这一点，排障时就不会在错误的方向上浪费时间。
设备独占的运维代价
绑盘后，同一块 NVMe 盘在内核中的 /dev/nvme* 路径会消失，依赖内核工具链（如 nvme-cli、sysfs）的流程需要改写。回退必须显式执行 setup.sh reset。若误绑系统盘，可能导致根文件系统丢失。因此，绑盘前务必核对 BDF，并将 reset 视为一等运维动作。
CPU 亲和：轮询核是专用预算
SPDK 的 reactor 模型默认每个核跑一条忙轮询循环。把所有核都交给 SPDK 可能饿死内核网络、管理面或其他数据面进程，导致“盘很快、集群却抖”。规划亲和时，需为内核、软中断、同机其他应用预留核，并注意 NUMA 拓扑，避免跨节点 DMA 和消息开销。
容器编排中的环境状态管理
将 SPDK 放入容器后，绑盘、大页和核隔离必须作为节点状态管理，而非一次性命令。VFIO 设备注入、hugetlb 与 cgroup 记账不一致、容器停止后未 reset 导致设备残留等问题，都可能让下一个租户“盘丢失”。建议将环境准备纳入 DaemonSet 或 runbook，与应用镜像同等对待。
Q&A
SPDK setup.sh 脚本的主要作用是什么？
SPDK 的 scripts/setup.sh 脚本用于准备运行环境，主要作用是分配并预留 hugepage，以及将 NVMe 等存储类 PCI 设备从内核驱动解绑，并绑定到用户态驱动框架（如 vfio-pci 或 UIO）。它不是安装驱动，而是环境准备步骤。
为什么 SPDK 需要使用 hugepage？
SPDK 使用 hugepage 是为了获得物理地址稳定的内存，以满足 DMA 操作的需求。在没有 IOMMU 的情况下，DMA 使用物理地址，而用户态只有虚拟地址，虚拟到物理的映射可能因换页等变化。Hugepage 能减少这种变化，但长期正确做法是配合 VFIO 和 IOMMU。
SPDK 中 VFIO 和 UIO 有什么区别？推荐使用哪个？
VFIO 配合 IOMMU 提供了更安全的 DMA 地址翻译和隔离，是 SPDK/DPDK 官方推荐的长期路径。UIO 路径降低了对 IOMMU 的依赖，但将更多正确性压在 hugepage 物理地址稳定和特权访问上，适合实验或受限环境。推荐使用 VFIO 并启用 IOMMU。
使用 SPDK 绑定 NVMe 设备后，原来的 /dev/nvme* 设备节点会怎样？
使用 SPDK 绑定 NVMe 设备后，该设备会从内核驱动解绑，因此原来的 /dev/nvme* 块设备节点会消失，除非通过 CUSE 等方式重新暴露。这意味着内核工具链（如 nvme-cli）无法再直接访问该设备。
如何将 SPDK 绑定的设备恢复到内核驱动？
可以通过运行 `sudo scripts/setup.sh reset` 将设备重新绑定回内核驱动。这是运维中的一等操作，用于排查问题、升级驱动或归还设备。
SPDK 中 CPU 亲和性设置需要注意什么？
SPDK 的 reactor 模型通常每个核运行一个轮询循环，因此需要合理规划 CPU 亲和性：为 SPDK 分配专用轮询核，同时预留核给内核、网络软中断和其他数据面（如 io_uring 数据库）。还需注意 NUMA 拓扑，确保盘、网卡、大页和 reactor 在同一节点，避免跨节点访问。
在容器或编排环境中使用 SPDK 会遇到哪些额外问题？
在容器或编排环境中，SPDK 会面临设备注入（VFIO 设备需设备插件或特权）、大页宣告与计费（cgroup 记账不一致导致 EAL 初始化失败）、生命周期管理（容器停止后未 reset 导致设备残留）等问题。需要将绑盘、大页和核隔离视为节点状态，纳入 runbook 或 DaemonSet 管理。
