本研究提出了一种基于氨基酸微环境的高效注意力模型EMOCPD，旨在提高蛋白质设计的效率和准确性。该模型通过分析氨基酸周围的三维原子环境，显著提升了预测准确率、突变体的热稳定性和蛋白质表达能力。

医学图像分析可以通过基于注意力模型的新范式得到促进。这种方法能够克服传统卷积神经网络的限制，提供强大的建模能力和高效获取全局上下文信息的能力。实验证明，基于注意力的方法在充足数据和数据增强方法的情况下特别有效。

本文介绍了一种新的注意力模型Mamba，它基于SSM架构，具有线性复杂度和5倍推理吞吐量。Mamba在多个模态上表现出SOTA水平，在预训练和下游任务上都优于同类模型。作者认为Mamba是通用序列模型骨干的有力候选者。

本文介绍了一个针对儿童的交互式系统，通过交互活动与代理互动，提高意图识别精度，并利用注意力模型等新颖方式进行对话适应。

本文研究了预训练的注意力模型在具有高斯先验的线性回归的上下文学习中的能力。研究表明，有效的预训练只需要少量独立任务，预训练模型与贝叶斯最优算法高度匹配，在未见任务上实现几乎贝叶斯最优风险。这些理论发现补充了先前的实验研究，并阐明了ICL的统计基础。

该研究提出了一种社交关注的轨迹预测模型，可以捕获人们在拥挤环境中导航时每个人的相对重要性。该模型对比了现有方法的性能，并分析了训练后的注意力模型，以更好地理解人类在拥挤环境中导航时关注周围团队的特点。

本文提出了一种基于U-Net的注意力模型，用于增强深度神经网络语音识别系统中的对抗性信号，并通过可解释的语音识别度量评估模型性能。实验结果表明，该模型可以提高语音质量感知评估、语音传输指数和短期客观清晰度等指标，并可以增强DNN基于ASR模型的鲁棒性和泛化能力，从而确保弹性ASR系统的安全性。

该研究比较了不同的端到端模型在长篇转录上的性能，证明了RNN-T模型比注意力模型更加鲁棒，并提出了两种改进方法，使得注意力模型的性能得到了极大提升，达到了和RNN-T模型相当的水平。

本文提出了一种使用注意力模型的神经网络模型，具有更大畸变不变性的时间对齐机制，并通过度量学习进行训练。该模型在在线签名验证方面超过DTW并创造了最先进的性能。