本研究提出了SoftmAP方法,以解决大语言模型在资源受限设备上的计算和内存开销问题。该方法通过内存计算硬件实现低精度Softmax,显著提高能量延迟产品,增强模型的可部署性。
完成下面两步后,将自动完成登录并继续当前操作。