PIPE：并行推理通过后训练量化残差扩展集成
原文中文，约200字，阅读约需1分钟。发表于：。通过将浮点操作转换为较低位宽格式，基于残差误差扩展、群组稀疏性和集成逼近的 PIPE 量化方法，在每个基准应用、架构和位宽上实现卓越性能，从深度神经网络到自然语言处理，从 int8 到三进制量化，并满足数据隐私需求。
本文介绍了量化技术如何减小深度神经网络的规模，提高推理延迟和吞吐量，并评估它们在各种应用领域的不同神经网络模型上的选择，包括视觉、语音和语言等方面，并重点介绍适用于高吞吐量整数数学流水线处理器加速的量化技术。同时，还提供了一种8位量化工作流，能够在所有研究的网络上保持1%的浮点基线精度，包括更难量化的模型，如MobileNets和BERT-large。
