Binary Weight and Activation Implementation for Large Language Models Using Post-Training Quantization

💡 原文英文,约100词,阅读约需1分钟。
📝

内容提要

本研究提出了一种后训练量化框架,通过细粒度分组和EM量化方案,将大语言模型的权重量化为1位,显著降低量化误差并提升性能。

🏷️

标签

➡️

继续阅读