GDR: 再深一点

在PD分离中，Prefill实例通过RDMA Write和GDR将数据写入Decode实例。

使用阿里云的Barex库实现异步批量写入以确保数据完整性。

讨论了GDR的细节及NCCL实现，强调内存顺序和ACK机制的重要性。

提出通过RDMA read确认数据写入完成的解决方案。

Prefill端在RDMA Write完成后可以释放对kvcache block的引用。

Decode端成功写入kvcache到显存，后续计算可以从显存中读取。

NCCL实现中，sender和receiver通过socket交换信息以完成数据写入与接收。

通过ncclIbSendFifo结构，sender可以确定数据写入是否完成。

使用rdma write with imm将数据写入receiver端显存，receiver通过cqe确认数据写入成功。

Barex的解决方案是在收到rdma write ack后发起rdma read 1byte以确认数据写入完成。