Roofline模型用于判断算子是计算密集型还是内存密集型，算术强度（AI）是关键指标，定义为浮点运算数与内存搬运字节数之比。通过双对数图，Roofline展示了性能与算术强度的关系，分为带宽限制区和算力限制区。优化策略包括提高算术强度，采用算子融合和tiling等方法，以减少内存访问并提升性能。

GEMM（通用矩阵乘）是深度学习中的关键计算。通过优化实现，从朴素实现到共享内存和寄存器分块，显著提高了算术强度。寄存器分块的性能达到6375 GFLOP/s，接近FP32峰值的39%。未来的优化方向包括向量化、预取和更大的tile设计。

屋顶线性能模型通过比较应用性能与机器能力，识别软件实现和架构设计中的瓶颈。模型中，x轴表示算术强度，y轴表示计算性能。应用性能受内存带宽和处理器峰值性能限制，低算术强度时受内存限制，高算术强度时受处理器限制。实际应用性能通常低于理论峰值，可能因内存带宽或处理器未充分利用。

本文介绍了机器学习模型性能的四种瓶颈类型和相应的优化策略，如升级硬件、减少操作数、使用低精度数据类型等。还讨论了算术强度与时延、吞吐量之间的关系，并介绍了屋顶线模型。强调了正确判断瓶颈类型对优化模型性能的重要性。