本研究提出了一种新颖的任务指导反课程学习方案，解决了掩码语言模型训练中掩码选择的随机性和固定比例问题，显著提升了情感分析、主题分类和作者归属等任务的性能。

大模型（如chatGPT）的训练是通过自监督学习进行的，自监督学习是一种无监督学习方式，通过伪标签进行训练。常见的自监督学习任务有掩码语言模型和因果语言模型。因果语言模型通过预测下一个词来学习文本的顺序结构和语言生成过程。通过自监督学习，模型可以学习到自然语言的结构和句式。

Lil-Bevo是BabyLM Challenge的参赛作品，使用三种方法对掩码语言模型进行预训练。基准模型表现超过随机猜测，但低于较大规模语言模型。训练较短的序列效果更好，预训练音乐对性能影响较小。掩码语言建模在一般情况下未提高模型性能，但在特定BLiMP任务上有帮助。在少量数据上训练性能良好的语言模型是困难但有潜力的任务。需要进一步研究以探索更显著的性能提升。

本文介绍了一种修改的transformer编码器--NarrowBERT，通过在预训练期间仅在屏蔽令牌上操作，增加了掩码语言模型预训练的吞吐量。NarrowBERT在推理时间的吞吐量提高了3.5倍，性能降低最小，并且在多个任务上与标准BERT相当。

GEST是一个新的数据集，用于评估掩码语言模型和机器翻译系统中的性别刻板推理。该数据集包含16个关于男性和女性的性别刻板印象的样本，适用于9种斯拉夫语言和英语。通过使用GEST评估了11个掩码语言模型和4个机器翻译系统，发现几乎所有评估模型和语言中都存在显著和一致数量的刻板推理。

该研究提出了Lil-Bevo作为BabyLM Challenge的参赛作品，使用三种方法对掩码语言模型进行预训练，包括使用音乐数据进行初始预训练、逐步增加序列长度以及对特定令牌进行屏蔽。研究发现，训练较短的序列比训练较长的序列效果更好，预训练音乐可能提高性能但影响很小。针对性的掩码语言建模在一些特定的BLiMP任务上有帮助。

该研究提出了Lil-Bevo作为BabyLM Challenge的参赛作品，使用三种方法对掩码语言模型进行预训练，包括使用音乐数据进行初始预训练、逐步增加序列长度以及对特定令牌进行屏蔽。研究发现，训练较短的序列比训练较长的序列效果更好，预训练音乐对性能提升影响较小。针对性的掩码语言建模在一些特定的BLiMP任务上有帮助。

通过收集离散声学代码并微调，AudioFormer提出了一种学习音频特征表示的方法。使用神经音频编解码模型生成离散声学代码，并利用它们训练掩码语言模型，获取音频特征表示。实验结果表明，AudioFormer在多个数据集上取得显著提升，甚至超越音频-视觉多模分类模型的性能。