基于BEST-RQ的线性复杂度注意力替代方法分析

提出了一种新型增强记忆自注意力机制，应用于Transformer语音识别，显著降低计算量。

在Librispeech基准测试中实现了超过15%的相对误差降低。

开发了一种新型线性变压器，优于现有的语音识别和语音摘要方法。

提出了基于Transformer的自监督学习模型压缩方法，重用注意力矩阵并采用新型蒸馏策略。

在SUPERB基准测试中实现了7.72%的音素错误率和9.96%的单词错误率。

提出了MiniSUPERB基准，有效评估自监督语音模型的能力，降低计算成本。

研究了自我监督学习在语音任务中的应用，发现解码器架构对性能有显著影响。

提出了摘要混合算法，降低训练和推理时间达27%，内存预算减少了一半。

提出了Fast-HuBERT高效优化方法，训练时间为1.1天，速度提升5.2倍。

研究了一种线性复杂度的自监督学习上下文编码器，减少预训练时间和峰值VRAM。