利用动态推理来开发 Transformer 激活稀疏性
原文中文,约200字,阅读约需1分钟。发表于: 。通过激活稀疏性和动态决定每个令牌的执行专家数量的方法,Dynamic Sparsified Transformer Inference(DSTI)能够显著降低 Transformer 模型的推理成本,而且对准确性几乎没有影响。
本文提出了一种通过引入动态稀疏注意力机制的 Transformer 模型,对样本指导图像生成进行 fine-level 匹配的方法。该方法在有监督和无监督场景下均可生成视觉上令人满意的图像,并在人物姿势生成、人脸细节合成和图像样式迁移等应用上表现出了显著的优越性。