研究人员提出了vid-TLDR，一种轻量级视频Transformer模型，通过合并背景令牌和关注图来提高效率。实验证明，vid-TLDR减轻了计算复杂度，并取得了有竞争力的结果。

通过梯度下降研究自注意力机制的隐式偏差，证明了全局收敛并量化了关注图的稀疏化速率，同时分析了自适应步长规则对自注意力收敛速度的加速效果。强化了自注意力与线性逻辑回归中的隐式偏差的联系。

本研究介绍了一种使用拓扑数据分析的文本分类器，通过将BERT的关注映射转换为关注图作为输入。该模型在区分垃圾邮件和普通邮件等任务上优于BERT基线，并提出了减少BERT注意力头数量的方法。研究显示，拓扑模型在对抗性攻击方面更鲁棒，是NLP领域中首次使用基于拓扑的模型来应对对抗性攻击。