多语言预训练和迁移学习对低资源单语言ASR模型的鲁棒性有显著提升作用。使用RNNT损失进行预训练，然后通过最小词错误率损失进行微调，可以降低多国语言的词错误率。领域外预训练相比领域内预训练，提高了WERR28%。罕见词和非罕见词都有所受益，其中罕见词在领域外预训练中改善更大。

通过比较实际问卷和模型响应，研究发现大型语言模型在文化一致性方面表现更好。使用特定文化的主要语言作为提示以及采用该文化的多语言精炼混合体系进行预训练，对于模拟调查的不同人物和敏感社会议题，模型的文化一致性更加重要。研究还引入了人类学提示的创新方法，以增强文化一致性。这项研究强调了平衡的多语言预训练数据集对于更好地代表人类经验多样性和不同文化的复数性，以及对于跨语言传递的影响的必要性。

该文介绍了一个新的零资源代码切换语音基准，用于评估自我监督语音编码器的代码切换能力。实验包括多种知名的语音编码器，研究了预训练语言和模型大小对基准性能的影响。结果表明，多语言预训练的语音编码器优于单语变体，但仍有改进空间。