本研究探讨了小规模语言模型在课程学习中的效率,提出了更细致的学习策略,并构建了四个儿童导向的语料库。结果表明,灵活的学习策略显著提升了模型的性能。
本研究提出了一种可微分数据奖励(DDR)方法,解决了检索增强生成(RAG)方法中忽视数据偏好的问题。DDR能更好地对齐RAG系统中各模块的数据偏好,尤其在小规模语言模型中效果显著优于传统方法。
本论文研究了双语背景儿童如何通过与父母和教师的互动重新获得他们的传统语言,并将这一洞见应用于小规模语言模型的学习中。通过交替策略和基于PPO的建模,BAMBINO-LM提高了BabyLM基线模型的意大利语能力。然而,这种方法可能导致与人类儿童在等效学习场景中可能遇到的L1效果下降类似的效果。
完成下面两步后,将自动完成登录并继续当前操作。