中间层：具有层级神经元选择的矩阵插值丢弃层

本研究解决了现代神经网络中重复激活所有神经元所导致的计算冗余和低效问题。论文提出了一种新颖的矩阵插值丢弃层（MID-L），通过学习的输入依赖门控向量，在两个变换路径之间动态选择和激活最有信息的神经元，从而实现每个输入的自适应计算。研究结果显示，MID-L在六个基准测试中实现了平均55%的活跃神经元减少和1.7倍的计算量节省，并保持或超越了基线准确性，展现了其在研究和有限计算资源系统上的广泛应用潜力。