本文提出了一种自适应计算剪枝方法（ACP），有效解决遗忘变换器中注意力头快速遗忘的问题。研究表明，ACP可减少约70%的计算量，提高训练吞吐量10%至35%，在长上下文中效果更为显著，且性能保持稳定。

减治法是一种算法模式，通过利用较小实例的解来简化复杂问题，主要包括减去常量、减去常量因子和可变规模减小三种形式。该方法广泛应用于计算最大公约数和幂函数等问题，有效降低计算量。

本研究探讨了语言模型中参数数量与计算量之间的关系，重点分析了稀疏混合专家模型的稀疏性对性能的影响。研究表明，优化稀疏性能够提升训练效率和模型性能，为设计更高效的架构提供了新视角。

本研究提出了一种新方法，将基于注意力的多变量时间序列预测模型简化为多层感知机（MLP），通过前馈、跳跃连接和层归一化操作实现。结果显示，该方法显著降低了计算量，同时保持了可接受的性能，展示了其高效性和可行性。

本文提出了一种基于预测编码模型的时间注意机制，通过在无法预测时关注视觉事件，减少能耗和计算量。研究表明，该机制可将数据通信量减少46.7%，计算活动减少43.8%。此外，介绍了新颖的神经网络架构和自监督学习方法，提升了视频字幕生成、眼动追踪和光流估计等任务的性能。

该研究提出了一种名为PAUMER的方法，通过在最终解码器之前暂停对不再需要计算的路径进行计算来提高分割变换器效率。该方法使用预测熵作为暂停的准则，并可以通过调整暂停参数轻松地适应各种运行时要求。在两个标准分割数据集上展示了该方法的效果，吞吐量提高了约50%。

该文介绍了一种构建置信区间的方法，通过多个随机梯度下降和在线方法实现，避免了现有分批方法中的复杂混合条件，减少计算量。

该文介绍了深度模型在推断计算方面的进展，但指出了普适性对抗贴片攻击的影响。攻击者通过优化贴片，将其粘贴到图像上可以增加模型计算量和功耗。标准对抗性训练防御方法可以减少攻击成功率，但需要采用自适应高效的方法降低深度模型功耗，并开发更好的防御方法。

该文介绍了深度模型在推断计算方面的进展，但指出这些模型容易受到对抗贴片攻击的影响。攻击者通过优化一个贴片，将其粘贴到任意图像上可以增加模型的计算量和功耗。作者运行实验使用了三种不同的高效视觉转换器方法，显示在某些情况下，攻击者只需将一个只占图像面积的 8% 的贴片粘贴上即可将计算量增加到最大限度。同时，作者还展示了标准对抗性训练防御方法可以减少攻击的成功率。作者呼吁未来需要采用自适应高效的方法来降低深度模型的功耗，并开发更好的防御方法来对抗这种攻击。

PyTorch提供多种方法降低计算成本和计算量，如压缩模型、分布式训练、硬件加速和模型量化。使用PyTorch的C++ API和TorchScript可以实现大语言模型，通过加载模型、准备数据、将数据转换为张量、将张量送入模型并计算输出等步骤完成。

ChatGPT和视觉Transformer都使用token作为最小单位，ChatGPT的token大概为3/4的一个单词，而视觉Transformer把图片拆分成一个个patch，每个patch看作是一个token，以减少计算量。