CodeFuse-13B:一个预训练的多语言编码大型语言模型
原文中文,约300字,阅读约需1分钟。发表于: 。CodeFuse-13B 是一个针对包括英文和中文提示的代码相关任务设计的开源预训练代码 LLM,通过使用高质量预训练数据集,在真实世界使用场景、人工评估和特别设计的中国提示评估中进行了广泛实验,结果表明在代码生成、代码翻译、代码注释和测试案例生成等实际场景中,CodeFuse 比其他模型在面对中文提示时表现更好。
本文介绍了新的基准测试,测试多语言环境下代码生成模型的性能,并发现多语言模型的优势。作者通过 few-shot prompting 实现了对模型新语言的教学能力和在单语言环境下的 zero-shot translation 能力。同时,作者利用其代码生成模型在多种语言上实现了大规模引导过程,产生了其他评估任务中使用的合成规范解决方案。