【SPDK 用户态存储】用户态 NVMe 驱动：Controller、Qpair 与 Poll Group
内容提要
SPDK NVMe驱动为被动库，不主动拉线程，应用需自行泵完成。qpair是并行单位且单线程独占，无锁特性，越界即未定义行为。Admin与I/O完成通道分离，排障需分开。Poll group聚合多qpair轮询并支持中断。零拷贝指载荷无驱动侧bounce，但需DMA安全分配。集成清单涵盖环境、qpair亲和、完成泵、缓冲寿命等硬约束。
延伸解读
被动库的集成责任
SPDK NVMe 驱动是 entirely passive 的库，不主动拉线程，应用必须自行泵完成。这意味着集成错误（如忘记调用 process_completions 或跨线程共享 qpair）会导致未定义行为，且驱动不加锁来检查。开发者需明确：完成泵必须挂在正确的线程上，否则故障会表现为“盘慢”或“SPDK 不稳”，而非真正的硬件问题。
qpair 的线程独占与扩展
qpair 是并行单位，但单线程独占，无锁是特性而非缺陷。多线程可并行使用不同 qpair，但同一 qpair 同时只能被一个线程使用。官方建议固定线程池，每线程独占至少一条 qpair，并常将线程钉到核。多数设备用单 qpair 也能达到标称性能，多 qpair 的价值在于线程扩展与隔离，而非队列数正比于 IOPS。
零拷贝的精确边界
SPDK 的零拷贝指驱动不为读写载荷维护中间 bounce buffer，设备 DMA 直达调用方提供的缓冲。但这不意味着端到端零拷贝，也不免除 DMA 安全分配与对齐义务。admin 路径可能涉及拷贝，与数据面零拷贝不矛盾。开发者需确保载荷缓冲来自 DMA 安全分配，并在提交与完成回调之间保持存活。
排障时区分 admin 与 I/O 完成通道
Admin 与 I/O 完成通道分离，排障时需分开处理。若只轮询 I/O qpair 而忽略 admin 完成泵，可能导致 identify 等命令卡住。建议将 admin 完成泵与 I/O 完成泵分开，并用计数与超时区分两类延迟，避免将慢 identify 误读为盘读延迟。
Q&A
SPDK NVMe驱动是主动拉线程还是被动库？应用需要做什么？
SPDK NVMe驱动是entirely passive的被动库，不主动拉线程，只在应用调用时做事。应用必须自行泵完成，例如调用spdk_nvme_qpair_process_completions()或注册poller来定期处理完成。
SPDK中qpair的线程使用规则是什么？为什么驱动不加锁？
SPDK中qpair是并行单位，且单线程独占。同一时刻只能有一个线程使用某个qpair，驱动不包含锁或原子操作，也不强制检查，违反此规则会导致undefined behavior。驱动不加锁是为了避免性能开销，但要求应用严格遵守线程亲和性。
SPDK中Admin队列和I/O队列的完成处理有何不同？排障时应注意什么？
Admin队列的完成通过spdk_nvme_ctrlr_process_admin_completions()处理，I/O队列的完成通过spdk_nvme_qpair_process_completions()或poll group处理。排障时应将admin和I/O的完成泵分开，避免只轮询I/O而忽略admin，否则一次慢identify可能被误读为盘读延迟。
SPDK Poll group的作用是什么？它如何支持中断模式？
Poll group用于聚合多个qpair，使一个线程可以一次泵完成所有qpair的完成，避免逐个调用process_completions。它还支持中断模式，通过spdk_nvme_poll_group_get_fd_group()获取fd group，并用spdk_nvme_poll_group_wait()等待中断事件。
SPDK的零拷贝具体指什么？它不包含哪些含义？
SPDK的零拷贝指驱动不为读写载荷维护中间bounce buffer，设备DMA直达调用方提供的缓冲。但它不意味着端到端零拷贝（如socket到盘）、admin路径无拷贝，也不允许传入任意堆指针，缓冲必须满足DMA/PRP约束。
使用SPDK NVMe驱动时，应用侧需要满足哪些硬约束？
应用侧需满足：环境上目标BDF已在VFIO/UIO且大页足够；附着时probe成功并获取namespace句柄；为每个泵完成的线程分配私有I/O qpair，不跨线程共享；所有载荷缓冲必须DMA安全分配且生命周期覆盖提交到完成；在同一线程循环中定期泵完成（包括admin）；处理热拔、超时、队列满等错误；关停时先停提交、抽干完成再释放。
SPDK中一条qpair是否足够跑满盘性能？多qpair的价值是什么？
官方文档认为多数设备用单qpair也能达到标称性能，多qpair的价值主要在线程扩展和隔离，而不是队列数正比于IOPS。
