DSP: 多维 Transformer 的动态序列并行化
📝
内容提要
通过动态序列并行化实现多维 Transformer 模型的高效并行计算,提升了 42.0% 至 216.8% 的整体吞吐量。
🏷️
标签
➡️
通过动态序列并行化实现多维 Transformer 模型的高效并行计算,提升了 42.0% 至 216.8% 的整体吞吐量。