实验证明通过减少精度量化保存被清除的KV对中的一小部分信息能恢复引起的退化。提出了一种可靠的缓存压缩方法，即混合精度KV缓存（MiKV），保留被清除的KV对的上下文细节并保留重要的KV对的高精度。在多种基准和LLM骨干上提供了最先进的压缩比和性能的权衡。

实验证明通过减少精度量化保存被清除的KV对的一小部分信息可以恢复引起的退化。提出了一种可靠的缓存压缩方法，即混合精度KV缓存（MiKV），通过保留被清除的KV对的低精度和重要的KV对的高精度来确保生成质量。与其他基准相比，该方法在多种基准和LLM骨干上提供了最先进的压缩比和性能的权衡。