本研究提出了一种SUS反向传播算法，旨在提高变换器架构中长序列的计算效率。通过控制参数$c$，该算法切断大部分注意力权重的反向传播，将复杂度从$O(n^2)$降低到$O(nc)$，显著提升训练效率。

本研究提出LagKV策略，解决了大语言模型在长上下文推理中KV缓存过大的问题。该策略通过比较KV关系，实现高效的缓存压缩，几乎不影响性能，并在特定任务上优于注意力权重方法。

本文探讨了Transformer模型中的自注意力机制，提出了注意力展开和注意力流两种方法以提高注意力权重的可靠性。研究表明，通过固定自注意力参数可以逼近稀疏矩阵，并扩展了FlashAttention以优化注意力计算，显著提高训练速度。此外，分析了层标准化对自注意力的影响，并探讨了变压器网络的动力学规律及其在情感分析中的应用。

提出了一种名为RepSGG的新型架构，用于生成场景图。通过将实体表示为查询，目标表示为键，并使用最大注意力权重表示它们之间的关系，实现了更细粒度和灵活的特征表达。通过在训练期间进行仿射变换，对关系的逻辑进行修改，以提高性能平衡。实验结果表明，RepSGG在Visual Genome和Open Images V6数据集上具有先进或可比较的性能，并具有快速推理速度。