本文讨论了尾延迟对用户体验的影响，指出即使平均响应时间良好，少数慢请求也会导致用户感到应用迟缓。尾延迟常因请求排队、垃圾回收、磁盘I/O等因素引起，尤其在高并发场景下更为明显。采用内存架构（如Redis）可显著降低尾延迟，提升系统性能，确保用户体验一致。

本文探讨了750B MoE模型从自建RoCE集群迁移至AWS EFA的过程，验证了Prefill-Decode分离推理的通信架构。客户希望利用AWS的弹性算力扩展本地GPU资源，降低硬件风险。通过理论分析和实际测试，比较了AWS EFA与自建RoCE集群的性能，发现EFA在复杂通信负载下表现良好，尽管在某些延迟指标上略逊一筹，但在尾延迟稳定性上有显著优势。整体来看，EFA已可替代RoCE，尤其在对尾延迟敏感的场景中表现出色。

本文介绍了通过“请求对冲”策略降低Go HTTP客户端的P99尾延迟74%。该策略通过并行发送请求，利用最快响应来提高效率，尤其在微服务中表现出色。文章还提供了实现对冲机制的代码示例，并强调了在生产环境中需考虑的幂等性和延迟设置等因素。

Linux 网络邮件列表发布了 Homa 传输协议 v16 补丁，旨在替代 TCP，显著降低短消息的尾延迟。Homa 是一种无连接、面向消息的协议，适用于高负载环境，优化性能并减少连接状态。该项目由斯坦福大学与麻省理工学院共同研发。