自适应 dropout 在收缩 Conformer 中的应用

本研究解决了联合训练和修剪过程中有效参数减少的问题，提出了一种基于自适应 dropout 层的修剪方法。该方法通过估计单元保留概率，识别出可被修剪的单元，并在 Conformer 的多个应用点进行了有效应用。研究结果显示，该方法在减少54%参数的同时，使识别精度提高约1%。