网络改写：计算与数据高效的语言建模方案
原文英文，约300词，阅读约需1分钟。
📝
内容提要
本文介绍了一种名为Web Rephrase Augmented Pre-training (WRAP)的方法，该方法使用现成的指令调整模型对网络文档进行改写，以特定风格如“维基百科”或“问答格式”进行预训练。研究表明，使用WRAP可以加速预训练并提高模型性能。通过使用合成的改写数据，可以提供更多样化的训练数据，从而提高模型在不同任务上的表现。合成数据具有更高的效用，因为它包含更多样化的风格，并且比网络抓取的数据质量更高。
❓
Q&A
WRAP方法的主要功能是什么？
WRAP方法主要用于对网络文档进行特定风格的改写，以加速预训练并提升模型性能。
使用WRAP方法的好处有哪些？
使用WRAP方法可以加速预训练约3倍，并在相同计算预算下提高模型的困惑度和零-shot问答准确率。
合成数据与网络抓取数据相比有什么优势？
合成数据的质量更高，包含更多样化的风格，能够更好地反映下游评估的多样性。
WRAP方法如何影响模型的性能？
WRAP方法通过提供多样化的训练数据，改善模型在不同任务上的表现，尤其是在零-shot问答任务中。
WRAP方法在C4数据集上的表现如何？
在C4数据集上，WRAP方法加速预训练约3倍，并在不同子集上平均提高困惑度超过10%。
WRAP方法是如何进行预训练的？
WRAP方法通过使用现成的指令调整模型，对网络文档进行特定风格的改写，结合真实和合成的改写数据进行预训练。
🏷️
