重新思考通道维度,以隔离大型语言模型低比特权重量化中的异常值

💡 原文中文,约500字,阅读约需2分钟。
📝

内容提要

本文提出了 per-IC 量化和 AdaDim 两种基于权重的量化方案,以解决大型语言模型在小批量推断设置下的内存瓶颈问题。AdaDim 在基础的语言建模基准测试和指导性调优的 LLMs 中都取得了显著的改进效果。

🏷️

标签

➡️

继续阅读