PyTorch 2.8 发布，提升了英特尔 CPU 性能，专注于大型语言模型的高性能量化推理。新增 A16W8、DA8W8 和 A16W4 模式，优化 AMX 微内核，改善特定条件下的性能。同时，提供对英特尔 XCCL GPU 的实验性支持，并增强了 PyTorch CPP 扩展 API。
本研究系统评估了量化推理模型，发现W8A8或W4A16量化可实现无损，但较低比特宽度会影响准确性。模型大小、来源和任务难度是影响性能的关键因素，适当调整模型规模或推理步骤可提升性能。
本文介绍了如何使用ggml进行MNIST手写体识别的量化推理。首先，使用PyTorch训练全连接神经网络并保存模型。然后，通过ggml对模型进行量化，生成gguf格式文件。最后，使用C++实现模型推理，包括加载模型、前向传播和结果预测，强调模型结构和量化细节，并提供代码示例和运行步骤。
本文介绍了一种在芯片上进行硬件感知的混合精度量化（OHQ）框架，通过构建量化感知管道和基于掩码的量化估计技术，实现了从硬件感知的混合精度量化。OHQ 在不需要额外计算设备和数据访问的情况下，对各种体系结构和压缩比率进行了量化推理，为 ResNet-18 和 MobileNetV3 分别实现了 70％和 73％的准确率，并且相较于部署中的 INT8，减少了 15～30％的延迟。
完成下面两步后，将自动完成登录并继续当前操作。
