该研究提出了一种新颖的量化方法PolarQuant,有效解决了大语言模型在处理长距离上下文时KV嵌入缓存占用大量内存的问题。该方法通过极坐标变换将KV缓存压缩超过4.2倍,并在质量评分上优于现有技术。
完成下面两步后,将自动完成登录并继续当前操作。