信息过载：为 BabyLMs 保持简单的训练

该研究提出了Lil-Bevo作为BabyLM Challenge的参赛作品，使用三种方法对掩码语言模型进行预训练，包括使用音乐数据进行初始预训练、逐步增加序列长度以及对特定令牌进行屏蔽。研究发现，训练较短的序列比训练较长的序列效果更好，预训练音乐对性能提升影响较小。针对性的掩码语言建模在一些特定的BLiMP任务上有帮助。