Aligning Instruction Tuning with Pre-training

💡 原文英文,约100词,阅读约需1分钟。
📝

内容提要

本研究提出了一种“指令调优与预训练对齐”(AITP)的方法,以解决指令调优数据集与大语言模型预训练分布之间的对齐问题。通过重写未充分代表的预训练数据,丰富了数据集的多样性,实验结果表明AITP显著提升了模型性能。

🏷️

标签

➡️

继续阅读