研究探讨大型语言模型在学习新语言时如何保持已掌握语言的性能。提出两阶段微调过程,发现任务相似性影响模型适应性,并验证微调方法在提升语言能力和保持任务性能上的有效性。
本研究通过对大语言模型进行适应和扩展,探究了构建语言专属大语言模型的方法。发现词汇扩展和持续微调可以提高模型效率,适应方法取决于语言。适应以英语为中心的模型在资源稀缺语言上表现更好。该研究为构建语言专属大语言模型提供了基础。
本研究通过对大语言模型进行适应和扩展,探究了构建语言专属大语言模型的方法。实验结果表明,通过词汇扩展和持续微调可以提高大语言模型的效率和任务性能。适应方法的选择取决于语言,简单的方法在各种实验中表现良好。相比适应多语言模型,以英语为中心的模型在资源稀缺语言上表现更好。这项工作为构建语言专属大语言模型提供了基础。
本文研究了LLMs的自我信息更新任务,并提出了一种有效的持续微调方法来缓解暴露偏差问题。作者还开发了新闻文章数据集来评估信息更新,实验结果表明,该方法能显著提高事实一致性分数。
完成下面两步后,将自动完成登录并继续当前操作。