小型语言模型如同小词汇：探究基于音素和字素的幼小拉马的语言能力

BriefGPT - AI 论文速递 · 2024-10-02T00:00:00Z

ToddlerBERTa是一种语言模型，通过调整五种超参数进行探索。在BLiMP和SuperGLUE等基准测试中，小模型在特定任务上表现出色，大模型在大量数据上表现良好。尽管训练数据集较小，ToddlerBERTa的性能与RoBERTa-base相当，展示了强大的语言理解能力。研究提供了关于超参数选择和数据利用的见解，推动了语言模型的发展。