RoQLlama：一种轻量级的罗马尼亚适应语言模型

本文旨在解决当前大规模语言模型在罗马尼亚语言任务上的发展不足，通过QLoRA降低计算资源的需求，推出了定量化的RoQLlama-7b模型。该模型在七个罗马尼亚下游任务的零样本测试中表现出与全尺寸模型相当甚至更好的结果，并在所有少样本提示中 consistently achieve较高的平均分。此外，文中还介绍了一个新颖的罗马尼亚数据集RoMedQA，包含单选医学问题。