乌尔都语LLaMA 1.0:低资源环境下的数据集整理、预处理和评估
💡
原文中文,约700字,阅读约需2分钟。
📝
内容提要
本研究提出了乌尔都语LLaMA 1.0模型,旨在提升乌尔都语在多语种大语言模型中的表现。通过在128百万乌尔都语文本上预训练,并利用低秩适应技术微调41000个乌尔都语指令和50000个翻译对,显著提高了模型性能,建立了新的基准。
🎯
关键要点
- 本研究提出了乌尔都语LLaMA 1.0模型,旨在提升乌尔都语在多语种大语言模型中的表现。
- 模型通过在128百万乌尔都语文本上进行预训练,显著提高了性能。
- 利用低秩适应技术对41000个乌尔都语指令和50000个翻译对进行微调。
- 该研究建立了乌尔都语大语言模型的新基准。
➡️