PhoGPT:越南语生成预训练
原文中文,约200字,阅读约需1分钟。发表于: 。我们为越南语开源了一种最先进的 7.5B 参数生成模型系列 PhoGPT,包括基础的预训练单语模型 PhoGPT-7B5 及其指令遵循变体 PhoGPT-7B5-Instruct。此外,通过人工评估实验,我们还展示了其比以前的开源模型表现出更高的性能。
本文介绍了一种新的越南语预训练单语言模型ViDeBERTa,使用DeBERTa架构在大规模高质量多样化的越南文本语料库上进行预训练,取得了在越南特定的自然语言理解任务上比前文献更好的表现,尤其在问答任务上能取得出色的结果。该模型相较于其他预训练语言模型具有更少的参数,其表现非常出色,并且现已提供供大家使用。