StagFormer: Temporal Displacement Transformer Decoding for Parallel Execution
原文英文,约100词,阅读约需1分钟。
📝
内容提要
本研究提出了一种新架构StagFormer,解决了传统变换器语言模型解码中的顺序依赖问题。该方法通过错位执行实现解码并行化,提升解码速度33%,同时保持生成质量,并探讨了在内存有限情况下的应用潜力。
🏷️