Apple Machine Learning Research
·
网络改写：计算与数据高效的语言建模方案
内容提要
本文介绍了一种名为Web Rephrase Augmented Pre-training (WRAP)的方法，该方法使用现成的指令调整模型对网络文档进行改写，以特定风格如“维基百科”或“问答格式”进行预训练。研究表明，使用WRAP可以加速预训练并提高模型性能。通过使用合成的改写数据，可以提供更多样化的训练数据，从而提高模型在不同任务上的表现。合成数据具有更高的效用，因为它包含更多样化的风格，并且比网络抓取的数据质量更高。
关键要点
-
提出了一种名为Web Rephrase Augmented Pre-training (WRAP)的方法。
-
WRAP使用现成的指令调整模型对网络文档进行特定风格的改写。
-
WRAP可以加速预训练，提升模型性能。
-
使用合成的改写数据提供更多样化的训练数据。
-
合成数据的效用更高，包含更多样化的风格。
-
WRAP在C4数据集上加速预训练约3倍。
-
在相同的预训练计算预算下，模型在不同子集上的困惑度平均提高超过10%。
-
模型在13个任务上的零-shot问答准确率提高超过2%。
-
研究了改写风格对模型性能的影响。
-
合成数据的质量高于网络抓取的数据，反映了下游评估风格的多样性。
延伸问答
WRAP方法的主要功能是什么？
WRAP方法主要用于对网络文档进行特定风格的改写，以加速预训练并提升模型性能。
使用WRAP方法的好处有哪些？
使用WRAP方法可以加速预训练约3倍，并在相同计算预算下提高模型的困惑度和零-shot问答准确率。
合成数据与网络抓取数据相比有什么优势？
合成数据的质量更高，包含更多样化的风格，能够更好地反映下游评估的多样性。
WRAP方法如何影响模型的性能？
WRAP方法通过提供多样化的训练数据，改善模型在不同任务上的表现，尤其是在零-shot问答任务中。
WRAP方法在C4数据集上的表现如何？
在C4数据集上，WRAP方法加速预训练约3倍，并在不同子集上平均提高困惑度超过10%。
WRAP方法是如何进行预训练的？
WRAP方法通过使用现成的指令调整模型，对网络文档进行特定风格的改写，结合真实和合成的改写数据进行预训练。
