网络改写：计算与数据高效的语言建模方案
内容提要
本文介绍了一种名为Web Rephrase Augmented Pre-training (WRAP)的方法，该方法使用现成的指令调整模型对网络文档进行改写，以特定风格如“维基百科”或“问答格式”进行预训练。研究表明，使用WRAP可以加速预训练并提高模型性能。通过使用合成的改写数据，可以提供更多样化的训练数据，从而提高模型在不同任务上的表现。合成数据具有更高的效用，因为它包含更多样化的风格，并且比网络抓取的数据质量更高。
延伸解读
改写风格如何影响模型表现
WRAP方法不仅关注改写本身，还研究了不同改写风格对模型性能的影响。文章指出，合成数据包含更多样化的风格，且这些风格更接近下游评估的风格，从而提升了模型在零样本问答等任务上的表现。这意味着，在预训练数据构建中，风格多样性是一个值得关注的维度，而不仅仅是数据量。
合成数据质量与效用的权衡
文章强调，改写后的合成数据比原始网络抓取数据具有更高的“质量”，这反映在下游评估风格的多样性上。但需要注意的是，合成数据依赖于现成的指令调整模型，其质量受限于该模型的能力。因此，在实际应用中，需要权衡合成数据的效用与生成成本，以及可能引入的偏差。
对预训练效率的实际意义
WRAP在C4数据集上实现了约3倍的预训练加速，并在相同计算预算下将困惑度平均降低超过10%，零样本问答准确率提升超过2%。这表明，通过改写网络文档，可以在不增加计算成本的情况下提升模型性能，为缓解高质量数据稀缺问题提供了一种可行思路。
Q&A
WRAP方法的主要功能是什么？
WRAP方法主要用于对网络文档进行特定风格的改写，以加速预训练并提升模型性能。
使用WRAP方法的好处有哪些？
使用WRAP方法可以加速预训练约3倍，并在相同计算预算下提高模型的困惑度和零-shot问答准确率。
合成数据与网络抓取数据相比有什么优势？
合成数据的质量更高，包含更多样化的风格，能够更好地反映下游评估的多样性。
WRAP方法如何影响模型的性能？
WRAP方法通过提供多样化的训练数据，改善模型在不同任务上的表现，尤其是在零-shot问答任务中。
WRAP方法在C4数据集上的表现如何？
在C4数据集上，WRAP方法加速预训练约3倍，并在不同子集上平均提高困惑度超过10%。
WRAP方法是如何进行预训练的？
WRAP方法通过使用现成的指令调整模型，对网络文档进行特定风格的改写，结合真实和合成的改写数据进行预训练。
