本研究提出了ParetoQ框架，旨在解决量化模型大小与准确性之间的最佳比特宽度问题。研究发现2比特与3比特之间存在显著的学习转变，优化后的ParetoQ在准确性上优于以往方法，表明2比特量化在内存减少和加速方面具有潜力。

本文介绍了一种深度神经网络（DNN）压缩的联合训练方法，旨在提高量化模型的预测准确性。实验表明，该自动化量化方法在保持准确性的同时，显著降低了计算和存储成本，并提升了速度和能效。此外，研究还探讨了量化模型在不同噪声场景下的鲁棒性，为实际应用提供了新思路。

量化模型在准确性和生成质量方面表现优异。Neural Magic对Llama 3.1系列进行了超过五十万次评估，结果显示量化模型在多个基准测试中恢复了99%以上的准确率，且对真实场景影响极小。量化降低了计算成本，加速了推理过程，证明了其在实际应用中的可靠性和高效性。

该研究提出了一种创新的金融分析技术，结合机器学习和量化模型，以提高股票市场的选股和择时策略。研究展示了新算法和深度神经网络在不同市场条件下的预测精度，尤其在电力需求和太阳能电池板功率输出的预测中表现出色。

本文介绍了一种优化的 Transformer 硬件加速器，专为 AIoT 系统中的设备端时间序列预测设计。通过整数量化和量化感知训练，实现了 4 位和 6 位量化模型，性能接近 8 位模型。实验结果显示，4 位模型测试损失仅增加 0.63%，运行速度提升 132.33 倍，能耗降低 48.19 倍，证明了在嵌入式 IoT 设备上部署 Transformer 模型的可行性。

本文介绍了使用TensorRT加速PyTorch量化模型的方法，包括量化模型导出为ONNX格式，修复ONNX模型图以适应TensorRT解析器，并构建为TensorRT引擎。对比了FP16和INT8 ResNet18 TensorRT引擎的推理延迟和准确性。

清微智能与飞桨完成Ⅲ级兼容性测试，验证了30个量化模型的兼容性。双方已完成框架层面的适配和数十个模型的测试验证。

本文介绍了两个国产开源LLM的本地部署，ChatGLM-6B和MOSS。MOSS对显存要求高，推理速度慢，需要使用量化模型和多卡加速。模型采用GNU AFFERO GENERAL PUBLIC LICENSE许可证，可以免费商用。