通过令牌扩展的 Transformer 通用高效训练
原文中文，约200字，阅读约需1分钟。发表于：。我们提出了一种名为 ToE 的新型令牌增长方案，用于实现 ViTs 的一致训练加速，通过维护原始 Transformer 的中间特征分布的完整性，防止训练过程中关键可学习信息的丢失。实验结果表明，ToE 无损地实现了约 1.3 倍的 ViTs 训练加速，甚至在全令牌训练基准上取得了性能提升。
本文介绍了一种名为HeatViT的硬件高效的图像自适应标记修剪框架，可在嵌入式FPGA上实现高效而准确的ViT加速。该框架通过重复利用现有硬件组件来实现标记选择器，并使用固定点量化和多阶段训练策略来优化插入标记选择器的变压器块。在硬件上提高了模型的准确性和推理延迟，并在与现有计算成本相似的情况下获得更高的准确性或在与相似模型准确性相似的情况下实现更高的计算量减少。
