本研究提出了一种基于氨基酸微环境的高效注意力模型EMOCPD，旨在提高蛋白质设计的效率和准确性。该模型通过分析氨基酸周围的三维原子环境，显著提升了预测准确率、突变体的热稳定性和蛋白质表达能力。

本文探讨了基于深度学习的人体活动识别（HAR）研究，提出了利用注意力模型和迁移学习等新方法，显著提升了识别性能。同时分析了训练过程中的标准化问题，并提出改进方案，验证了在不同数据集上的有效性，展望了未来研究方向。

本研究提出了多种步态识别方法，包括基于卷积和循环神经网络的双向注意力模型及上下文敏感特征学习网络，展现出优越的识别性能和鲁棒性。同时，构建了新的步态识别基准数据集GREW和Gait3D-Parsing，推动了步态识别技术的发展。

本文探讨了通过注意力模型和可解释性方法提升自动驾驶系统的安全性与性能，分析了多模态基础模型在自主驾驶中的应用，强调可解释性、鲁棒性和因果查询的重要性，并提出数据生成与验证对深度学习模型的影响。

本文探讨了基于注意力模型的顺序推荐系统在计算和资源效率方面的挑战，提出了一种结合自动修剪技术的新方法，并在三个基准数据集上验证了其有效性。研究表明，EASRec在推荐系统中表现优越，为未来高效准确的推荐系统设定了新标准。

本文介绍了一种新的注意力模型Mamba，它基于SSM架构，具有线性复杂度和5倍推理吞吐量。Mamba在多个模态上表现出SOTA水平，在预训练和下游任务上都优于同类模型。作者认为Mamba是通用序列模型骨干的有力候选者。

本文介绍了一个针对儿童的交互式系统，通过交互活动与代理互动，提高意图识别精度，并利用注意力模型等新颖方式进行对话适应。

本文研究了预训练的注意力模型在具有高斯先验的线性回归的上下文学习中的能力。研究表明，有效的预训练只需要少量独立任务，预训练模型与贝叶斯最优算法高度匹配，在未见任务上实现几乎贝叶斯最优风险。这些理论发现补充了先前的实验研究，并阐明了ICL的统计基础。

该研究提出了一种社交关注的轨迹预测模型，可以捕获人们在拥挤环境中导航时每个人的相对重要性。该模型对比了现有方法的性能，并分析了训练后的注意力模型，以更好地理解人类在拥挤环境中导航时关注周围团队的特点。

本文提出了一种基于U-Net的注意力模型，用于增强深度神经网络语音识别系统中的对抗性信号，并通过可解释的语音识别度量评估模型性能。实验结果表明，该模型可以提高语音质量感知评估、语音传输指数和短期客观清晰度等指标，并可以增强DNN基于ASR模型的鲁棒性和泛化能力，从而确保弹性ASR系统的安全性。

该研究比较了不同的端到端模型在长篇转录上的性能，证明了RNN-T模型比注意力模型更加鲁棒，并提出了两种改进方法，使得注意力模型的性能得到了极大提升，达到了和RNN-T模型相当的水平。

本文提出了一种使用注意力模型的神经网络模型，具有更大畸变不变性的时间对齐机制，并通过度量学习进行训练。该模型在在线签名验证方面超过DTW并创造了最先进的性能。