本文提出了一种自适应计算剪枝方法（ACP），有效解决遗忘变换器中注意力头快速遗忘的问题。研究表明，ACP可减少约70%的计算量，提高训练吞吐量10%至35%，在长上下文中效果更为显著，且性能保持稳定。

减治法是一种算法模式，通过利用较小实例的解来简化复杂问题，主要包括减去常量、减去常量因子和可变规模减小三种形式。该方法广泛应用于计算最大公约数和幂函数等问题，有效降低计算量。

本研究探讨了语言模型中参数数量与计算量之间的关系，重点分析了稀疏混合专家模型的稀疏性对性能的影响。研究表明，优化稀疏性能够提升训练效率和模型性能，为设计更高效的架构提供了新视角。

本研究提出了一种新方法，通过将注意力机制简化为多层感知机（MLP），显著降低了计算量，同时保持了可接受的性能。

本研究通过引入限制玻尔兹曼机(RBM)解决了传统配置相互作用方法在计算量上的不足，提高了量子化学研究的效率和理解深度。

研究发现，使用简单的检索增强可以在生成时实现与微调后的大型语言模型相当的性能，计算量较小。检索还可以显著提高大型语言模型的性能，不受扩展上下文窗口大小的限制。最佳模型LLaMA2-70B在长上下文任务中表现优于其他模型。研究为选择检索增强与扩展大型语言模型提供了见解。

本文提出了一种使用神经网络学习实例依赖的启发式代理来提高在障碍物环境下的A*算法性能的方法，并进行了全面实验评估。结果显示该算法在减少计算量和保证较小的解代价方面表现出优异性能。

研究发现，使用简单的检索增强可以在生成时实现与微调后的大型语言模型相当的性能，计算量较小。检索还可以显著提高大型语言模型的性能，不受扩展上下文窗口大小的限制。最佳模型LLaMA2-70B-32k在长上下文任务中表现优于其他模型。该研究为从业者提供了选择检索增强与扩展大型语言模型的见解。

研究发现，使用简单的检索增强可以在生成时实现与微调后的大型语言模型相当的性能，计算量较小。检索还可以显著提高大型语言模型的性能，不受扩展上下文窗口大小的限制。最佳模型LLaMA2-70B-32k在长上下文任务中表现优于其他模型。研究为选择检索增强与扩展大型语言模型提供了见解。

本文提出了一种基于学习的、实例相关的注意力机制来加速 Vision Transformers 网络，解决了由结构化注意力模式引起的语义信息丧失问题。该方法可以在保证准确率的情况下显著减少计算量，达到更优的精度-计算复杂度平衡点。结合 Token 稀疏机制，该方法可以将 Vision Transformers 网络的 FLOPs 降低超过 60%。

我们提出了一种在线数据选择策略来加速大规模预训练，减少模型性能所需的计算量并提高效率。在训练视觉分类器和多模态模型时，我们的方法分别减少了46％和51％的训练更新次数和25％的总计算量。在大规模图像-文本数据集上实现了新的最优效果。

本文提出了一种基于学习的、实例相关的注意力机制来加速Vision Transformers网络，通过限制自注意力操作在空间上邻近的一组Token上，并评估Token之间的连接得分来解决语义信息丧失问题。该方法可以显著减少计算量，降低Vision Transformers网络的FLOPs超过60%。

本文提出了一种基于学习的、实例相关的注意力机制来加速Vision Transformers网络，通过限制自注意力操作在空间上邻近的一组Token上，并评估Token之间的连接得分来解决语义信息丧失问题。该方法可以显著减少计算量，降低Vision Transformers网络的FLOPs超过60%。

本研究提出了一种基于小型机器学习的全局色调映射方法（TGTM），能够以较低的计算量实现HDR图像的色调映射，具有更高的峰值信噪比。