Apple Machine Learning Research
·
基于聚类重要性采样的任务自适应预训练语言模型
💡
原文英文，约300词，阅读约需2分钟。
📝
内容提要
本文探讨了如何通过调整通用语言模型的训练分布，利用有限的领域特定数据构建专业模型。采用聚类重要性采样方法，从通用数据集中根据领域数据的频率进行采样，以提高语言建模的准确性。此外，文章介绍了如何通过地理位置知识改善Siri对本地兴趣点名称的识别能力，提出了基于地理位置的语言模型。
🎯
关键要点
- 专业语言模型专注于特定任务或领域，通常在同等规模下优于通用语言模型。
- 大多数任务所需的专业数据量有限，因此本文提出从大型通用训练集构建专业模型。
- 通过有限的领域特定数据指导调整通用数据的训练分布。
- 采用聚类重要性采样方法，从通用数据集中根据领域数据的频率进行采样。
- 聚类重要性采样方法可扩展，适用于预训练和继续预训练，并在多任务设置中表现良好。
- 研究结果表明，在语言建模的困惑度和多项选择题任务的准确性方面，各领域均有改善。
- 文章还介绍了消融研究，考察数据集大小、聚类配置和模型大小的影响。
- 通过将用户的地理位置知识纳入语音识别系统，改善了Siri对本地兴趣点名称的识别能力。
- 基于地理位置的语言模型（Geo-LMs）使Siri能够更好地估计用户的意图词序。
❓
延伸问答
什么是专业语言模型，它们与通用语言模型有什么区别？
专业语言模型专注于特定任务或领域，通常在同等规模下优于通用语言模型。
如何通过有限的领域特定数据构建专业模型？
通过调整通用数据的训练分布，利用有限的领域特定数据指导采样过程。
聚类重要性采样方法的优势是什么？
聚类重要性采样方法可扩展，适用于预训练和继续预训练，并在多任务设置中表现良好。
这项研究对语言建模的准确性有什么影响？
研究结果表明，在语言建模的困惑度和多项选择题任务的准确性方面，各领域均有改善。
如何改善Siri对本地兴趣点名称的识别能力？
通过将用户的地理位置知识纳入语音识别系统，改善了Siri对本地兴趣点名称的识别能力。
基于地理位置的语言模型（Geo-LMs）有什么作用？
Geo-LMs使Siri能够更好地估计用户的意图词序，结合用户的地理位置信息。
➡️
