批处理大小对比自我监督语音表示学习的影响
内容提要
本文综述自监督学习研究，涵盖多项进展：自适应批融合提升ImageNet性能；40ms上下文最利于声学预训练；显式量化助小数据语音识别；梯度噪声可预测最佳批大小；80亿参数Conformer仅用3%数据达SoTA；渐变缓存降低内存；性别平衡预训练未必最优；低资源下小批量更佳。
延伸解读
批大小与上下文长度的权衡
文章指出，批大小和上下文长度是自监督语音表示学习中的关键因素。研究发现，40ms的上下文在训练和推理中能达到最佳音素可辨识性，过多上下文反而降低表示质量。同时，低资源训练中小批量比大批量在更短时间内获得更高分数，这归因于梯度更好的正则化。这些发现提示，在实际应用中需根据资源条件平衡批大小与上下文长度。
显式量化在小数据语音识别中的优势
文章比较了无量化学习和显式量化学习两种自监督算法。显式量化方法能建立高准确性的数据词汇表，并在后续BERT训练中学习有效表示，从而在训练量极小的语音识别系统中实现较高准确性。这表明，在标注数据有限的情况下，显式量化可能是一种更高效的选择，有助于降低对大规模标注数据的依赖。
大规模预训练与模型效率
文章提到，使用80亿参数的Conformer模型，仅用3%的训练数据即可达到SoTA性能，而完整训练集可显著提升SoTA。这展示了大规模预训练和自我训练在任务效率上的潜力，尤其是在标记数据稀缺时。同时，渐变缓存技术通过批次内负样本和逐子集梯度计算减少内存使用，为训练大模型提供了实用支持。
预训练数据平衡的复杂性
文章以法语为例，发现性别平衡的预训练数据集不一定导致最佳ASR和ST结果，使用自监督模型作为特征提取器时结果遵循更复杂模式。此外，预训练数据的相似性和数量对低资源ASR系统性能有显著影响。这提醒研究者和实践者，在构建预训练数据时需综合考虑多种因素，而非简单追求性别平衡。
Q&A
自适应批融合技术是如何提升自监督学习性能的？
自适应批融合技术通过降维和重构批数据，使以前孤立的个体数据能够通过嵌入层在批内进行通信，随着训练进行，自适应地增强自我监督特征编码能力。在ImageNet-1k上线性分类测试达到最先进性能，在ImageNet-100上top1最多提高1.25%。
在自监督语音预训练中，多少上下文长度能达到最佳音素可辨识性？
研究发现，在训练和推理过程中，40ms的上下文能够达到最佳的音素可辨识性，而太多上下文则会显著降低表示质量。这种模式在监督ASR中也适用，当预训练表示被用作冻结输入特征时。
显式量化在自监督语音表示学习中有什么优势？
使用显式量化的自监督学习算法以较高的准确性建立了数据词汇表，并在随后的BERT训练中学习了有效的表示方法，从而实现了训练量极小的语音识别系统。
如何利用梯度噪声尺度预测深度学习中的最佳批大小？
梯度噪声尺度是一种仅依赖梯度的统计量，可以用来预测各种深度学习模型中最适合的批大小。研究表明该参数在监督学习数据、强化学习领域以及生成模型训练中都能适用。
80亿参数的Conformer模型在语音识别中需要多少标记数据才能达到SoTA性能？
通过微调一个80亿参数的预训练Conformer模型，仅使用3%的训练数据即可达到SoTA性能，而使用完整的训练集可以显著提高SoTA。该模型在34k小时标记数据的ASR任务上进行了验证。
在低资源语音识别训练中，小批量训练相比大批量训练有什么优势？
在低资源训练中，相比于GPU内存允许的大批量训练，小批量训练在较短时间内可以得到更高的分数。这是由于在训练过程中梯度更好的正则化所导致的。
