BriefGPT - AI 论文速递
·
在低比特GEMM残差计算中使用RSVD的方法
📝
内容提要
本研究解决了低精度应用中计算误差显著的问题，提出了一种低秩残差量化矩阵乘法（LRQMM）方法，通过残差补偿引入低秩近似。实验结果表明，LRQMM能将直接量化矩阵乘法的误差降低1到2个数量级，同时在处理大规模矩阵时，计算速度仅降低约20%。
➡️
