Mooncake正式加入PyTorch生态系统,专注于开放治理和与PyTorch社区的长期合作。它提供高效的通信和存储基础设施,支持分散的LLM架构,提升推理性能。Mooncake的功能包括预填充与解码分离、全局KVCache重用、弹性专家并行和容错分布式后端,已被多家知名企业广泛采用。
PyTorch 2.8 正式发布,提升了 Intel CPU 上的量化 LLM 推理性能,并实验性支持 Intel GPU 的分布式后端。新增 libtorch ABI、SYCL 优化和控制流算子等功能,显著提高了性能和兼容性。
完成下面两步后,将自动完成登录并继续当前操作。