Matryoshka Quantization

💡 原文英文,约100词,阅读约需1分钟。
📝

内容提要

本研究提出了一种新颖的马特里俄罗斯套娃量化技术,解决了低精度量化模型在质量与计算成本之间的权衡问题。该方法支持在单一模型中实现不同精度的量化,使得int2精度模型的准确率提高高达10%。

🏷️

标签

➡️

继续阅读