本文介绍优化大模型微调性能的方法。作者以Qwen 27B为例，指出GPU利用率98%仍具误导性，需用torch trace深入分析。通过融合内核（如Flash Linear Attention、causal-conv1d）减少算子数量，并将批次改为1D打包张量消除填充，训练时间从7小时44分降至1小时17分，提速6倍。

Zymtrace是一款新型性能分析工具，专为CPU和NVIDIA GPU设计，能够识别CPU瓶颈、优化推理批量大小并通过内核融合提升性能。该工具完全本地运行，支持Linux系统，定价合理，适合企业使用。