华为开源的KVarN是一种KV Cache量化技术，通过Hadamard旋转和双轴方差归一化，有效解决大模型推理中的显存瓶颈。该技术在2-bit量化下保持接近FP16的精度，显存占用降低至原来的三分之一到五分之一，吞吐量超越FP16，且无需校准，已集成至vLLM框架。

本文探讨了大模型推理中的KV Cache优化，分析了显存瓶颈及其对推理成本的影响。通过比较DeepSeek MLA和vLLM等技术架构，提出了Prompt Cache的应用，以降低推理成本并提升效率。

AIxiv报道了一种新型注意力机制——多矩阵分解注意力（MFA），该机制显著降低了语言模型的推理成本，并提升了性能。MFA在内存使用上节省高达93.7%，兼容多种位置编码，解决了大语言模型的显存瓶颈，推动了其应用。