Sekyoro的博客小屋
·
profile a deep learning model
💡
原文中文，约6000字，阅读约需15分钟。
📝
内容提要
本文讨论了程序性能分析的方法，包括计时、内存分析和使用工具。还介绍了评估深度学习模型性能的方法，包括计算量和参数量的计算。提供了FlopCountAnalysis、torch profiler和deepspeed等工具和代码示例。同时介绍了thop和stat等其他工具。
🎯
关键要点
- 程序性能分析是软件和算法开发中重要但常被忽视的环节。
- 性能分析应在程序基本功能完成后进行，避免过早优化。
- 性能分析工具包括计时、内存分析等，需区分真实时间、用户时间和系统时间。
- 深度学习模型性能评估需考虑计算量和参数量，影响GPU/CPU和内存使用。
- 计算参数量可通过模型参数数量和数据类型计算，量化可降低复杂度。
- 计算量通常用FLOPs表示，涉及浮点数和整数运算的不同。
- 使用FlopCountAnalysis等工具可以计算模型的FLOPs和参数量。
- PyTorch Profiler用于收集训练和推理期间的性能指标。
- Deepspeed是用于大模型训练的加速框架。
- 其他工具如thop、stat和ptflops可用于性能分析，避免模型改动带来的问题。
- 运行模型时间的测试需考虑显存和使用torch.cuda.Event进行精确测量。
➡️
