PyTorch 2.8 发布,英特尔 CPU 性能更佳,助力 LLM 推理

PyTorch 2.8 发布,英特尔 CPU 性能更佳,助力 LLM 推理

实时互动网 实时互动网 ·

PyTorch 2.8 发布,提升了英特尔 CPU 性能,专注于大型语言模型的高性能量化推理。新增 A16W8、DA8W8 和 A16W4 模式,优化 AMX 微内核,改善特定条件下的性能。同时,提供对英特尔 XCCL GPU 的实验性支持,并增强了 PyTorch CPP 扩展 API。

原文中文,约1100字,阅读约需3分钟。
阅读原文