第二届BabyLM挑战赛的发现：在发展上可行的语料上进行样本高效预训练

本研究聚焦于缩小人类与计算语言学习者之间的数据效率差距。通过优化在固定语言数据预算下的语言模型训练，研究发现采用混合因果掩蔽语言模型架构的提交成果优于其他方法，尽管在多模态轨道中无一超越基线。这一结果强调了在图像-文本建模领域的创新潜力，以及社区驱动研究在小规模语言建模中的重要性。