【TVM 教程】在 Relay 中使用 Pipeline Executor
💡
原文中文，约300字，阅读约需1分钟。
📝
内容提要
在深度学习模型中，使用fp16精度可能导致梯度下溢，参数无法更新。需要选择合适的缩放因子和监测梯度变化。当显存不足时，需要根据硬件情况设置合理的Batch size。
🎯
关键要点
- 在深度学习模型中，使用fp16精度可能导致梯度下溢，参数无法更新。
- 合理选择缩放因子和监测训练过程中梯度的变化非常重要。
- 当GPU显存不足时，较大的Batch size会导致OOM，需要根据硬件情况设置合理的Batch size。
🏷️
标签
➡️
