本文研究了神经语言模型（如LSTMs、BERT和GPT-2）在获取单词方面的表现，发现这些模型对单词频率的依赖高于儿童，但在长句中的学习速度较慢。提出了TinyStories数据集用于评估语言模型的能力，并强调小型模型在特定任务中的表现。研究还探讨了语言模型与儿童语言习得的关系，建议使用经过评估的数据集以提升模型的语言理解能力。

通过使用自监督学习的最新进展，本文消除了使用固定表示而非数据驱动的方法生成专家词典的问题，将其应用于无词典的文本转语音系统中，与基于专家词典的方法相比，在没有语言专业知识的前提下达到甚至略优的声音质量。