BAMBINO-LM：（双语）人类灵感的 BabyLM 连续预训练
原文中文，约400字，阅读约需1分钟。发表于：。在这篇论文中，我们研究了双语背景儿童如何通过与父母和教师的互动重新获得他们的传统语言，并将这一洞见应用于小规模语言模型的学习中。我们介绍了 BAMBINO-LM，这是一种连续预训练策略，结合了来自父母意大利语模型的交替和基于 PPO 的困惑奖励。在英语和意大利语的零样本分类任务上评估后，BAMBINO-LM 提高了 BabyLM...
本论文研究了双语背景儿童如何通过与父母和教师的互动重新获得他们的传统语言，并将这一洞见应用于小规模语言模型的学习中。通过交替策略和基于PPO的建模，BAMBINO-LM提高了BabyLM基线模型的意大利语能力。然而，这种方法可能导致与人类儿童在等效学习场景中可能遇到的L1效果下降类似的效果。
