2025年8月21日，因单一客户流量激增，Cloudflare与AWS us-east-1区域发生严重网络拥塞，导致高延迟和数据包丢失。事件持续至协调世界时20:18，双方合作缓解问题，并承诺加强网络容量和流量管理，以防止类似事件再发生。

QUIC协议是Google开发并于2021年标准化的UDP传输协议，主要用于HTTP/3，具有在高延迟或丢包网络中优越的表现，但某些网络设备可能会阻止UDP流量。Chrome和Firefox浏览器支持QUIC，用户可通过特定网站和工具测试服务器的QUIC支持情况。

本研究探讨了大语言模型推理服务中的高延迟和低吞吐量问题，提出了实例级和集群级的创新方法，并分析了模型部署、请求调度和负载均衡等关键环节，优化后显著提升了推理服务性能。

本研究提出了NeoRL-2基准，旨在解决离线强化学习中的数据保守性和环境访问限制问题。该基准应对现实世界中的高延迟效应和安全约束，实验结果显示现有方法在这些基准上表现不佳，强调了对更有效算法的需求。

本研究提出了一种新算法，通过交错异步推理解决实时强化学习中的高延迟问题，确保在一致时间间隔内采取行动，显著降低长期后悔损失，支持更大规模模型在实时模拟游戏中的学习。

本研究探讨了视觉语言模型（VLM）在推理中的高延迟问题，提出通过标尺法则优化视觉标记与大语言模型（LLM）参数的平衡。研究表明，使用一个视觉标记和更大的LLM可降低错误率，提高VLM设计的效率。

在容器编排器中运行Go应用程序时，设置CPU限制和GOMAXPROCS环境变量非常重要，以确保不会消耗所有可用的CPU资源，避免高延迟。同时，使用automaxprocs等库可以帮助Go运行时知道这些限制。