实时互动网
·
PyTorch 2.8 发布，英特尔 CPU 性能更佳，助力 LLM 推理
内容提要
PyTorch 2.8 发布，提升了英特尔 CPU 性能，专注于大型语言模型的高性能量化推理。新增 A16W8、DA8W8 和 A16W4 模式，优化 AMX 微内核，改善特定条件下的性能。同时，提供对英特尔 XCCL GPU 的实验性支持，并增强了 PyTorch CPP 扩展 API。
关键要点
-
PyTorch 2.8 发布，提升了英特尔 CPU 性能。
-
专注于使用原生 PyTorch 进行高性能量化大型语言模型推理。
-
新增 A16W8、DA8W8 和 A16W4 模式，优化 AMX 微内核。
-
在特定条件下，PyTorch 性能可与 vLLM 等流行框架相媲美。
-
改进包括 FP8 QCONV、FP8 QLINEAR 和基于 AMX 的微内核。
-
AMX 微内核在 M > 4 时提供性能优势。
-
提供对英特尔 XCCL GPU 的实验性支持。
-
增强了 PyTorch CPP 扩展 API，支持 SYCL 和 XPU 设备。
-
用户可通过 PyTorch.org 博客和 GitHub 下载 PyTorch 2.8 版本。
延伸解读
英特尔 CPU 性能提升的意义
PyTorch 2.8 的发布标志着英特尔 CPU 性能的显著提升，尤其是在大型语言模型推理方面。这意味着开发者可以在不依赖昂贵硬件的情况下，利用现有的英特尔 CPU 进行高效的模型推理，降低了使用成本并提高了可访问性。
新模式的实用性
新增的 A16W8、DA8W8 和 A16W4 模式为用户提供了更多选择，特别是在处理不同规模的模型时。这些模式的优化使得在特定条件下，PyTorch 的性能能够与其他流行框架相媲美，用户在选择框架时可以考虑这些新模式的优势。
AMX 微内核的应用场景
AMX 微内核的改进在处理特定输入形状时提供了性能优势，尤其是在 M > 4 的情况下。这意味着在设计模型时，开发者需要关注输入数据的形状，以便充分利用 AMX 微内核带来的性能提升，从而优化推理速度。
延伸问答
PyTorch 2.8 的主要改进是什么？
PyTorch 2.8 提升了英特尔 CPU 性能，专注于高性能量化大型语言模型推理，并新增了 A16W8、DA8W8 和 A16W4 模式。
PyTorch 2.8 如何提升英特尔 CPU 的性能？
通过优化 AMX 微内核和支持新的量化模式，PyTorch 2.8 在特定条件下提升了英特尔 CPU 的性能。
PyTorch 2.8 支持哪些新的量化模式？
PyTorch 2.8 新增了 A16W8、DA8W8 和 A16W4 三种量化模式。
PyTorch 2.8 对英特尔 XCCL GPU 有何支持？
PyTorch 2.8 提供了对英特尔 XCCL GPU 的实验性支持，适用于分布式训练。
AMX 微内核在 PyTorch 2.8 中的作用是什么？
AMX 微内核在 M > 4 时提供性能优势，优化了量化推理的效率。
用户如何获取 PyTorch 2.8？
用户可以通过 PyTorch.org 博客和 GitHub 下载 PyTorch 2.8 版本。
