KIVI：一种用于 KV 缓存的无需调节的非对称 2 位量化
内容提要
该文综述大语言模型量化技术，重点针对KV缓存激活，提出通道关键激活量化、RoPE本地化量化、非均匀KV缓存量化、向量稠密稀疏量化及Q-Norm等方法。在LLaMA、Mistral上实现3位量化，困惑度退化小于0.1，单张A100-80GB支持百万级上下文。同时涉及PagedAttention、FastGen、SqueezeLLM、QLLM、I-ViT等技术，以降低内存与延迟、提升吞吐量。
延伸解读
KV缓存量化：大模型长上下文的关键
随着大语言模型处理长文本的需求增长，KV缓存成为推理时显存占用的主要部分。KIVI通过通道关键激活量化、RoPE本地化量化等非对称2位量化方法，在LLaMA和Mistral模型上实现3位量化，困惑度退化小于0.1，显著优于现有方法。这使得单张A100-80GB GPU能支持LLaMA-7B的百万级上下文，8-GPU系统更可扩展至千万级，为长上下文应用提供了硬件可行性。
无需微调：KIVI的即插即用优势
KIVI的量化方法无需调节或微调，可直接应用于预训练模型。与需要资源密集型微调或重新训练的方法（如FastGen）不同，KIVI通过数据无关的蒸馏和自适应压缩技术，在保持生成质量的同时大幅降低内存占用。这种即插即用特性降低了部署门槛，使现有模型能快速受益于量化带来的显存节省和吞吐量提升。
技术对比：KIVI与相关工作的定位
在KV缓存优化领域，PagedAttention通过分页管理减少内存浪费，FastGen利用注意力头特性自适应压缩，SqueezeLLM实现3位无损压缩。KIVI则专注于KV激活的量化，结合非均匀量化和Q-Norm，在极低位宽下保持精度。与QLLM的通道重组和I-ViT的整数量化相比，KIVI更针对KV缓存，在长上下文场景中展现出独特优势。
实际影响：内存与吞吐量的平衡
KIVI的量化技术直接降低了KV缓存的内存占用，使得在相同硬件上能处理更长的上下文或更大的批量。这对于需要高吞吐量的服务场景尤为重要，如大文本分析和摘要。同时，量化带来的精度损失极小（困惑度退化<0.1），确保了生成质量。结合PagedAttention等系统优化，可进一步减少延迟，提升整体推理效率。
Q&A
KIVI 是什么？它主要解决什么问题？
KIVI 是一种用于 KV 缓存的无需调节的非对称 2 位量化方法，旨在减少大语言模型推理过程中 KV 缓存激活带来的内存占用。
KIVI 采用了哪些量化技术？
KIVI 采用了通道关键激活量化、Rotary 位置嵌入本地化量化、非均匀 KV 缓存量化、向量稠密稀疏量化以及 Q-Norm 等技术。
KIVI 在哪些模型和数据集上进行了验证？效果如何？
KIVI 在 LLaMA、LLaMA-2 和 Mistral 模型上，使用 Wikitext-2 和 C4 数据集进行验证，实现了 3 位量化下困惑度退化小于 0.1，优于现有方法。
KIVI 能支持多长的上下文长度？
KIVI 使得在单个 A100-80GB GPU 上可以为 LLaMA-7B 模型提供长达 100 万的上下文长度，在 8-GPU 系统上可以提供长达 1000 万的上下文长度。
除了 KIVI，文章还提到了哪些相关的量化或推理优化技术？
文章还提到了 PagedAttention、FastGen、SqueezeLLM、QLLM、I-ViT、Atom 等，这些技术用于降低内存与延迟、提升吞吐量。
KIVI 的量化方法是否需要微调或重新训练？
KIVI 是一种无需调节的量化方法，不需要微调或重新训练。
