在使用DeepSpeed训练时遇到张量大小不匹配的问题

在使用DeepSpeed训练时遇到张量大小不匹配的问题

💡 原文英文,约200词,阅读约需1分钟。
📝

内容提要

在使用Hugging Face的Trainer和DeepSpeed集成训练模型时,遇到张量大小不匹配的错误,具体是张量a的大小(50)与张量b的大小(3)在非单例维度上不匹配。已检查输入ids和标签形状一致,确认批量大小,并确保模型在设备上正确放置。

🏷️

标签

➡️

继续阅读