BriefGPT - AI 论文速递
·
SIMD 数据流协同优化用于 CPU 上高效神经网络推理
💡
原文中文，约400字，阅读约需1分钟。
📝
内容提要
IntelCaffe是一个支持8位低精度推断的深度学习框架，可在Intel Xeon Scalable处理器上加速卷积神经网络的模型优化过程。通过一次标定过程，8位优化模型可从FP32模型自动生成，无需微调或重新训练。在ResNet-50、Inception-v3和SSD上，推断吞吐量和延迟分别提高了1.38X-2.9X和1.35X-3X，精度损失可忽略不计。
