PhoGPT：越南语生成预训练

本文介绍了一种新的越南语预训练单语言模型ViDeBERTa，使用DeBERTa架构在大规模高质量多样化的越南文本语料库上进行预训练，取得了在越南特定的自然语言理解任务上比前文献更好的表现，尤其在问答任务上能取得出色的结果。该模型相较于其他预训练语言模型具有更少的参数，其表现非常出色，并且现已提供供大家使用。