本文讨论了加速大型语言模型（LLM）的两种主要方法：低秩方法和块计算。低秩方法通过减少矩阵维度提高效率，块计算则通过分块计算矩阵优化性能。此外，介绍了快速注意力收集和矩阵乘法的块处理等新技术，以提升LLM的推理速度和内存使用效率。

本文概述大语言模型加速方法，分为三类：低秩方法（LoRA、Linformer、MLA）降低矩阵维度；分块计算（FlashAttention、FlashDecoding++）优化注意力与矩阵乘法；技巧类包括Medusa并行预测、SnapKV压缩缓存、参考推理、SwitchHead和DropBP等。此外还涉及Triton语言、硬件加速综述以及量化、剪枝、缓存等方向。