通透理解FlashAttention与FlashAttention2：全面降低显存读写、加快计算速度
💡
原文中文，约13900字，阅读约需34分钟。
📝
内容提要
本文介绍了Multi-Query Attention技术，可共享Key和Value矩阵，提高推理速度和降低显存占用。MQA和MHA在代码实现上有差异，本地加载ChatGLM2-6B模型。基于P-Tuning v2的微调方法可将参数量减少到原来的0.1%，微调后的模型效果更好。
🎯
关键要点
- Multi-Query Attention技术可共享Key和Value矩阵，提高推理速度和降低显存占用。
- ChatGLM2-6B模型的上下文长度由2K扩展到32K，允许更多轮次的对话。
- 基于P-Tuning v2的微调方法可将参数量减少到原来的0.1%。
- FlashAttention技术减少内存访问，提升计算速度。
- FlashAttention解决了Transformer模型计算复杂度和空间复杂度的问题。
- 多查询注意力(Multi Query Attention)与多头注意力(Multi-Head Attention)的主要区别在于共享Key和Value矩阵。
- 模型的使用和部署需要下载相应的代码和依赖。
- 微调过程中的显存使用情况可以通过调整参数来优化。
➡️
