追溯一下MoE历史，我们都能发现，早些年MoE的Router在作为Gate去乘到Expert上时，基本都是用Softmax激活，直到现在它仍是MoE的标准形式之一。不过，为了配合Loss-Fre...

本研究提出因果头门控方法（CHG），旨在解决变换器模型中注意力头功能理解的不足。该方法通过学习软门控，为注意力头提供因果分类，适用于各种数据集，揭示因果关系。研究发现多个稀疏子电路，指令遵循和上下文学习依赖于可分离机制。

本研究解决了自动生成自然且多样的与音乐同步的舞蹈动作的问题，现有方法在节拍对齐和运动动态上存在局限。通过引入舞蹈生成框架Danceba，该框架利用增强的节奏感知特征表示，如基于相位的节奏提取和时间门控因果注意力，显著提高了舞蹈姿势的对齐性和节奏感，实验结果显示Danceba优于现有最先进的技术。

本研究提出了一种无训练的门控低秩适应方法（GLoCE），用于文本到图像扩散模型中的局部概念消除。该方法能够有效去除图像中的有害内容，同时保持其他区域不受影响。实验结果表明，GLoCE在生成图像的保真度、特异性和稳健性方面优于现有技术。

本研究旨在解决递归神经网络在有限内存和计算能力设备上的持续学习能力不足的问题。我们提出了一种新的门控递归单元变体——小型递归单元（MiRU），通过替换传统门控机制来简化网络结构，从而显著降低计算成本和内存需求。研究发现，MiRU不仅在多任务学习中性能稳定，而且训练速度提升2.90倍，参数使用减少2.88倍，适用于边缘设备应用。

本研究针对传统方法在从头训练线性递归模型时的高成本和风险问题，提出了一种新的线性化方法，名为狮子（Liger）。该方法将预训练的大型语言模型转换为门控线性递归模型，避免添加额外参数，利用预训练的关键矩阵权重构建多种门控机制，并通过轻量级微调恢复性能，取得了与原始大型语言模型相当的效果。

本研究提出了一种名为GATE的新模型，探讨海马形成如何在不同环境中快速适应并构建灵活的工作记忆。该模型通过三维多层结构，有效捕捉信息并展现快速普遍化能力，为理解海马的记忆机制及发展仿生智能系统提供了重要框架。

本研究针对现有大语言模型在多步骤推理中面临的计算低效和冗余问题提出了自适应门控的语义探索（SEAG）方法。SEAG通过自适应门控机制根据简单推理方法的答案信心动态决定是否进行树搜索，从而减少了冗余探索并保持了准确性。实验表明，相较于现有基于树搜索的方法，SEAG在复杂推理基准上平均提高了4.3%的准确率，并将计算成本降低至31%。

本研究解决了在发展地区利用深度学习准确估计贫困水平的难题，尤其是传统方法如家庭调查成本高、频率低且迅速过时。我们提出了一种先进的卷积神经网络架构，通过引入门控注意力特征融合模块（GAFM）来扩展ResNet50模型。该模型能够有效捕捉和组合卫星图像中的全球和局部特征，达到了75%的R2得分，显著超越了现有贫困映射的领先方法，展示了其在遥感和贫困估计中的潜力。

本研究解决了胶囊内窥镜视频帧中肠胃异常自动分类的有效性问题。通过将全维度门控注意力机制与小波变换技术相结合，模型能够聚焦于内窥镜图像中最关键的区域，提高对微妙特征的检测能力。该模型在不平衡的数据集上取得了92.76%的训练精度和94.81%的平衡精度，显示出显著的分类准确性和临床应用潜力。

本文提出了多种优化深度神经网络的方法，包括基于门控机制的结构、动态推理框架、资源效率技术和动态传感器选择。这些方法在处理传感器噪声、降低计算资源消耗和提高预测精度方面表现出色，适用于嵌入式设备和无线传感器网络，推动智能设备的实时数据处理应用。

本研究提出了一种基于变分自编码器（VAE）的推荐系统模型，利用用户评论和自适应先验来提高推荐质量。通过多领域用户交互和几何先验知识，优化了推荐效果和可解释性。此外，研究探讨了大型语言模型在推荐系统中的应用，提出了LLMXRec框架，强调推荐模型与解释生成器的协作，以提升解释质量和用户满意度。

研究提出了一种结合卷积神经网络、门控递归单元和密集神经网络的混合深度学习模型，用于预测医院住院时长，准确率达89%。该模型优化了资源管理，并为医疗研究提供了新方向。其他研究也在探索深度学习模型在医疗预测中的应用。

该研究提出了多种基于深度学习的姿态估计方法，包括卷积神经网络、主动姿态估计架构和数据增强框架，显著提高了2D到3D姿态估计的准确性和鲁棒性。新方法如MovePose和DeepKalPose在实时性和时间一致性方面表现优越，适用于复杂场景。