本文探讨了750B MoE模型从自建RoCE集群迁移至AWS EFA的过程，验证了Prefill-Decode分离推理的通信架构。客户希望利用AWS的弹性算力扩展本地GPU资源，降低硬件风险。通过理论分析和实际测试，比较了AWS EFA与自建RoCE集群的性能，发现EFA在复杂通信负载下表现良好，尽管在某些延迟指标上略逊一筹，但在尾延迟稳定性上有显著优势。整体来看，EFA已可替代RoCE，尤其在对尾延迟敏感的场景中表现出色。