roofline model
原文中文，约1200字，阅读约需3分钟。
📝
内容提要
roofline模型描述计算性能与运算强度和每秒浮点运算次数的关系。优化手段可分为提高算力和提高带宽两类。Memory-bound任务应优化内存带宽，Compute-bound任务应优化算力。
🔎
延伸解读
运算强度的实际含义
文章将运算强度定义为运算量与访存量的比值，并具体化为一个样本进行一次前向传播的浮点运算次数与内存交换数量之比。这一定义意味着，运算强度不仅取决于模型本身的计算复杂度，还与数据访问模式密切相关。理解这一点有助于在分析具体模型时，准确计算其运算强度，从而判断它落在roofline图的哪个区域。
屋顶线与瓶颈区域的解读
roofline图中，算力决定屋顶高度，带宽决定屋檐斜率。红色带宽瓶颈区域中，模型性能由带宽和自身计算能力共同决定，此时增加带宽或提升模型计算能力理论上都能提升性能。绿色计算瓶颈区域中，性能受限于算力平台，无论运算强度如何增加，性能都不会超过红线，此时模型会充分压榨算力。
优化策略的选择依据
根据模型所处的瓶颈区域，优化方向截然不同。对于Memory-bound任务，优化内存带宽更为有效；对于Compute-bound任务，则应优先优化算力。这一分类指导避免了盲目优化，例如对带宽瓶颈任务一味提升算力可能收效甚微。实际应用中，可先通过运算强度判断任务类型，再选择对应的优化手段。
❓
Q&A
roofline模型的运算强度如何定义？
运算强度定义为运算量与访存量的比值。
roofline模型中算力和带宽分别决定什么？
算力决定屋顶的高度，带宽决定屋檐的斜率。
如何区分Memory-bound和Compute-bound任务？
Memory-bound任务应优化内存带宽，Compute-bound任务应优化算力。
roofline模型的红色和绿色区域分别代表什么？
红色部分为带宽瓶颈区域，绿色部分为计算瓶颈区域。
在roofline模型中，如何提升性能？
可以通过提高算力或提高带宽来提升性能。
roofline模型的图形如何表示运算强度与性能的关系？
以运算强度为横轴、每秒浮点运算次数为纵轴绘制图形，得到roofline。
🏷️
