本文介绍优化大模型微调性能的方法。作者以Qwen 27B为例，指出GPU利用率98%仍具误导性，需用torch trace深入分析。通过融合内核（如Flash Linear Attention、causal-conv1d）减少算子数量，并将批次改为1D打包张量消除填充，训练时间从7小时44分降至1小时17分，提速6倍。

GRPO是一种大模型微调方法，通过组内多输出比较计算优势并迭代更新模型。每步计算当前、旧、参考模型的logits概率，得出目标值作为损失。关键超参数包括KL权重beta、迭代次数num_iterations、裁剪参数epsilon及参考模型同步设置sync_ref_model。冷启动时利用各输出优势推动参数更新，最大化目标值。

LoRA是一种基于权重变化具有低内在秩这一发现的大模型微调方法。它通过训练小矩阵A和B并加到原权重W上，大幅减少可训练参数。其优点是微调成本低、无推理延迟、可高效切换任务，且与其他方法正交。建议适配更多权重矩阵，秩取2或4即可。