本研究提出了一种SUS反向传播算法，旨在提高变换器架构中长序列的计算效率。通过控制参数$c$，该算法切断大部分注意力权重的反向传播，将复杂度从$O(n^2)$降低到$O(nc)$，显著提升训练效率。

本研究提出LagKV策略，解决了大语言模型在长上下文推理中KV缓存过大的问题。该策略通过比较KV关系，实现高效的缓存压缩，几乎不影响性能，并在特定任务上优于注意力权重方法。

本研究提出了一种新颖的转移学习策略PLANT，旨在解决极端多标签文本分类中获取最佳注意力权重的难题。PLANT在多个数据集上表现优于现有方法，尤其在少样本场景中显著提升了模型性能。

本研究提出了解决大型语言模型翻译不准确问题的方法，通过调整注意力权重、压制无关目标前缀的影响以及避免过度依赖目标前缀，改善翻译质量，减少幻觉式翻译，促进准确翻译的生成。

RepSGG是一种新型架构，用于生成场景图。它使用查询和键来表示实体和目标，并通过最大注意力权重表示它们之间的关系。通过仿射变换，RepSGG鼓励平衡性能。实验结果显示，RepSGG在Visual Genome和Open Images V6数据集上具有先进的性能和快速推理速度。

提出了一种名为RepSGG的新型架构，用于生成场景图。通过将实体表示为查询，目标表示为键，并使用最大注意力权重表示它们之间的关系，实现了更细粒度和灵活的特征表达。通过在训练期间进行仿射变换，对关系的逻辑进行修改，以提高性能平衡。实验结果表明，RepSGG在Visual Genome和Open Images V6数据集上具有先进或可比较的性能，并具有快速推理速度。