本研究提出低秩变压器（LRT）神经网络架构，旨在提升语音识别的泛化性能和效率。通过自我监督学习和低秩适应技术，研究表明在低资源环境下，使用少量标记数据可实现先进性能，并显著降低训练时间和模型大小。实验结果显示，伪标签和新训练框架Fira能有效提升自动语音识别系统的准确性和鲁棒性。