本文介绍了一种名为Web Rephrase Augmented Pre-training (WRAP)的方法，该方法使用现成的指令调整模型对网络文档进行改写，以特定风格如“维基百科”或“问答格式”进行预训练。研究表明，使用WRAP可以加速预训练并提高模型性能。通过使用合成的改写数据，可以提供更多样化的训练数据，从而提高模型在不同任务上的表现。合成数据具有更高的效用，因为它包含更多样化的风格，并且比网络抓取的数据质量更高。