波斯语大型语言模型基准测试:关注 ChatGPT 的初步研究
原文中文,约500字,阅读约需2分钟。发表于: 。本文探讨了大型语言模型(LLMs)在波斯语中的有效性。研究发现,虽然 ChatGPT 和其他 LLMs 在英语中表现出色,但它们在资源稀缺的语言上的效率仍然是一个悬而未决的问题。研究通过对各种波斯语任务进行全面的基准测试研究,重点评估了 GPT-3.5-turbo,同时还包括 GPT-4 和 OpenChat-3.5,以提供更全面的评估。研究结果显示,虽然 LLMs,特别是...
研究发现,大型语言模型(LLMs)在波斯语中的有效性仍然存在问题。LLMs在推理能力和对一般知识的广泛理解任务中表现出色,但在特定任务上的细化调整的较小预训练模型更好。将测试集翻译成英语后输入LLMs可以改善其性能,突显了提升波斯语中LLMs性能的潜力。