本研究提出了SoftmAP方法,旨在解决大语言模型在资源受限设备上的计算和内存开销问题。该方法通过利用内存计算硬件实现低精度Softmax,仅使用整数,从而显著提高能量延迟产品,提升模型的可部署性而不损失性能。
完成下面两步后,将自动完成登录并继续当前操作。