Yunfeng's Simple Blog
·
TransformerEncoder导出onnx问题解决
内容提要
在使用Pytorch的TransformerEncoder导出ONNX时，时序长度被固定，无法处理变长输入。解决方法是修改Pytorch源码中的两行代码，以支持动态输入长度。希望官方能尽快修复此问题。
关键要点
-
在使用Pytorch的TransformerEncoder导出ONNX时，时序长度被固定，无法处理变长输入。
-
导出ONNX模型时，输入形状与验证时的形状不匹配会导致运行时错误。
-
解决方法是修改Pytorch源码中的两行代码，以支持动态输入长度。
-
具体修改包括将k和v的view方法中的k.shape[0]改为-1，以允许动态调整输入形状。
-
希望官方能尽快修复此问题，以免用户每次都需手动修改源码。
延伸解读
动态输入的重要性
在深度学习模型中，支持动态输入长度是提升模型灵活性和适应性的关键。尤其是在处理变长序列数据时，固定时序长度会限制模型的应用场景，导致无法充分利用数据的多样性。
源码修改的风险
手动修改Pytorch源码以解决ONNX导出问题虽然有效，但存在一定风险。每次更新Pytorch版本时，用户都需重新进行修改，增加了维护成本。希望官方能尽快集成此修复，以减轻用户负担。
ONNX导出时的注意事项
在导出ONNX模型时，确保输入形状与模型训练时一致至关重要。若输入形状不匹配，将导致运行时错误，影响模型的实际应用。因此，用户在导出前应仔细检查输入参数。
延伸问答
为什么在导出ONNX时会出现时序长度固定的问题？
在使用Pytorch的TransformerEncoder导出ONNX时，时序长度被固定，导致无法处理变长输入。
如何解决Pytorch导出ONNX时的时序长度固定问题？
可以通过修改Pytorch源码中的两行代码，将k和v的view方法中的k.shape[0]改为-1，以支持动态输入长度。
导出ONNX模型时，输入形状不匹配会有什么后果？
输入形状与验证时的形状不匹配会导致运行时错误，无法正确执行模型。
修改Pytorch源码的具体步骤是什么？
首先找到functional.py文件，修改k和v的view方法中的k.shape[0]为-1，然后保存文件即可。
官方是否计划修复Pytorch导出ONNX时的时序长度问题？
希望官方能尽快修复此问题，以免用户每次都需手动修改源码。
使用TorchDynamo导出ONNX时会遇到什么问题？
尝试使用TorchDynamo导出ONNX时，仍然会遇到与时序长度固定相关的报错。
