单卡A100实现百万token推理，速度快10倍，这是微软官方的大模型推理加速
内容提要
微软的研究提出了一种名为MInference的稀疏计算方法，可以加速长上下文语言模型（LLM）的预填充阶段，无需修改预训练设置或额外微调，同时保持准确性。MInference通过动态稀疏注意力计算和优化的GPU内核，在单个A100上实现了10倍的推理速度提升。实验结果表明MInference在各种任务和模型下都表现良好。
延伸解读
长上下文推理的瓶颈与MInference的定位
文章指出，长上下文LLM的预填充阶段因自注意力二次复杂度而耗时极长，例如LLaMA-3-8B处理30万token需6分钟，100万token需30分钟，其中自注意力开销占预填充延迟90%以上。MInference针对这一瓶颈，通过动态稀疏注意力加速预填充，无需修改预训练设置或微调，可直接应用于现有LLM，在单A100上实现最高10倍加速。
动态稀疏模式：三种可复用的注意力结构
MInference发现长上下文注意力具有动态稀疏性，并归纳出三种空间聚合模式：A形、垂直-斜线和块状-稀疏。这些模式在不同输入中表现不同，但可通过离线搜索为每个注意力头确定最佳模式，推理时动态逼近稀疏指数，并利用优化GPU内核执行。这种设计使方法能适应多种模型和任务，同时保持准确性。
实验验证：准确性与效率的平衡
在InfiniteBench、RULER、PG-19和Needle In A Haystack等基准上，MInference对LLaMA-3-1M、GLM-4-1M等模型实现了最高10倍预填充延迟降低，且准确性保持甚至略有提升。尤其在动态KV对检索任务中，基线方法准确率低于1.2%，而MInference成功保留处理能力。在1M上下文窗口中，其性能完全绿色，优于StreamingLLM和InfLLM。
实际部署的潜力与限制
MInference无需训练即可部署，显著降低长上下文LLM的推理延迟，使单卡A100处理百万token成为可能。但文章也显示，不同稀疏模式的内核速度有差异，例如Vertical-Slash最慢，在1M上下文下仍比FlashAttention快13倍。实际应用中需根据模型和任务选择合适的模式，并关注内核优化对性能的影响。
Q&A
MInference是什么？
MInference是一种稀疏计算方法，旨在加速长上下文语言模型的预填充阶段，能够在单个A100上实现10倍的推理速度提升。
MInference如何提高推理速度？
MInference通过动态稀疏注意力计算和优化的GPU内核，显著降低了长上下文LLM的预填充延迟。
MInference在不同任务中的表现如何？
实验表明，MInference在多种任务和模型下有效降低推理延迟，同时保持准确性，尤其在复杂的检索任务中表现出色。
MInference是否需要对现有模型进行修改？
不需要，MInference可以直接应用于现有的长上下文语言模型，无需修改预训练设置或额外微调。
MInference的动态稀疏性有哪些模式？
MInference的动态稀疏性呈现出三种模式：A形、垂直-斜线和块状-稀疏。
MInference在处理长上下文时的优势是什么？
MInference有效保留了LLM的实际上下文窗口处理能力，并在高达1M的上下文窗口中实现了良好的性能。
