探索蛋白质语言模型的后训练量化

💡 原文中文,约200字,阅读约需1分钟。
📝

内容提要

SmoothQuant是一个免费的后训练量化解决方案,可用于大型语言模型,实现8位权重和激活的量化,提高硬件效率,降低硬件成本,是一个民主化LLMs的解决方案。

🏷️

标签

➡️

继续阅读