ToddlerBERTa是一种语言模型，通过调整五种超参数进行探索。在BLiMP和SuperGLUE等基准测试中，小模型在特定任务上表现出色，大模型在大量数据上表现良好。尽管训练数据集较小，ToddlerBERTa的性能与RoBERTa-base相当，展示了强大的语言理解能力。研究提供了关于超参数选择和数据利用的见解，推动了语言模型的发展。

通过使用自监督学习的最新进展，本文消除了使用固定表示而非数据驱动的方法生成专家词典的问题，将其应用于无词典的文本转语音系统中，与基于专家词典的方法相比，在没有语言专业知识的前提下达到甚至略优的声音质量。