QLoRa 低秩分解+权重量化的微调 - 蝈蝈俊
内容提要
QLoRa是一种使用低秩分解和权重量化技术来减少模型参数数量和存储空间的方法。低秩分解将权重矩阵分解为更小的矩阵乘积，而权重量化将浮点数权重转换为低比特宽度的表示形式。不同的量化方法可以显著降低存储和计算复杂度，但也会对模型精度产生影响。选择量化策略时需要权衡模型大小、计算效率和模型性能。
延伸解读
低秩分解与量化的协同作用
QLoRa并非简单叠加两种技术，而是先通过低秩分解将权重矩阵拆解为更小的矩阵乘积，再对分解后的低秩矩阵进行权重量化。这种顺序设计让量化作用于参数量已大幅减少的矩阵，从而在压缩存储和计算量的同时，可能降低量化对原始模型精度的直接冲击。理解这一流程有助于把握QLoRa在资源受限场景下的适用逻辑。
量化比特宽度与精度权衡
文章对比了FP32、FP16、INT8、INT4、INT2和INT1等量化方法，比特宽度越低，存储和计算复杂度降低越明显，例如INT8存储降低4倍，INT4降低8倍，INT1降低32倍。但比特宽度越低，对模型精度的潜在影响越大。因此，选择量化策略时需在模型大小、计算效率和模型性能之间做出权衡，不能仅追求极致压缩。
实际收益受多因素制约
文章指出，实际的存储和计算复杂度降低并非固定值，而是取决于模型架构、硬件平台以及量化后的优化程度。例如，计算复杂度的降低程度与硬件对不同数据类型的支持密切相关。这意味着，QLoRa的部署效果需要结合具体运行环境评估，不能仅凭理论上的压缩倍数判断实际性能提升。
Q&A
QLoRa 的核心思想是什么？
QLoRa 的核心思想是首先使用低秩分解技术降低参数的数量，然后对这些低秩表示的参数应用量化技术，进一步减少所需的存储空间和计算量。
低秩分解在 QLoRa 中是如何减少参数数量的？
低秩分解通过将模型中的权重矩阵分解为更小的矩阵乘积，减少模型中的参数数量。这种方法特别适用于减少全连接层和卷积层的参数，因为这些层通常包含大量的参数。
权重量化在 QLoRa 中起到什么作用？
权重量化在低秩分解之后进行，将低秩矩阵的浮点数权重转换为低比特宽度的表示形式，进一步减少模型的存储需求和计算复杂度，使模型更适合部署在资源受限的设备上。
常见的权重量化方法有哪些？它们对存储和计算复杂度的影响如何？
常见的权重量化方法包括 FP32、FP16、INT8、INT4、INT2 和 INT1。FP32 未量化；FP16 存储降低 2 倍；INT8 存储降低 4 倍，计算显著降低；INT4 存储降低 8 倍，计算降低更高；INT2 存储降低 16 倍，计算降低最高；INT1 存储降低 32 倍，计算极大降低。
量化比特宽度对模型精度有什么影响？
量化的比特宽度越低，对模型精度的潜在影响越大。因此，在选择量化策略时，需要在模型大小、计算效率与模型性能之间做出权衡。
选择量化策略时需要考虑哪些因素？
选择量化策略时需要在模型大小、计算效率与模型性能之间做出权衡。此外，实际的存储和计算复杂度降低也取决于特定的模型架构、硬件平台以及量化后的优化程度。
