TigerBot:一个开放的多语言多任务 LLM
原文中文,约400字,阅读约需1分钟。发表于: 。TigerBot 系列的大型语言模型通过在数据、训练算法、基础设施和应用工具方面的进一步发展,实现了有意义的性能提升,成为领先的学术和工业基准模型,并以开放源代码的方式向社区发布模型,以实现 LLM 领域中的实际应用。
本文介绍了使用泰米尔语令牌增强开源的LLaMA模型来解决现有切尖模型中泰米尔语等语种的代表性不足所导致的性能不佳问题。通过LoRA方法进行高效的模型训练,并引入了Alpaca数据集和OpenOrca数据集的子集进行实验。实验结果显示在泰米尔语文本生成方面有显著的性能改进,对印度语言切尖模型的应用具有重要意义。通过公开模型、数据集和代码,促进语言建模领域的创新。