弥合语言差距：通过零-shot跨语言迁移增强多语言提示基础的代码生成
内容提要
本文介绍了ERNIE-Code语言模型及其在多语言自然语言处理中的应用，特别是在情感分析和机器翻译等任务中的表现。研究表明，尽管大型语言模型在某些任务中表现良好，但仍需改进。CodeFuse-13B在代码相关任务中表现优异，尤其是在中文提示下。此外，研究提出了利用编译器中间表示来提升多语言能力的方法，并扩展了对100种语言的支持。
延伸解读
多语言代码生成中的模型选择
文章指出，在机器翻译任务中，相对简单的模型性能优于多语言大型语言模型，表明训练方法对模型有效性有影响。同时，CodeFuse-13B在中文提示下表现优于其他模型。这提示读者，在代码生成任务中，并非模型越大越好，针对特定语言和任务进行定制化训练可能更有效。
低资源语言的适配策略
针对低资源语言，文章提到将LLaMa适应于Kinyarwanda、Hausa和Luganda等语言的提示设置是一种计算高效且成本效益的方法，优于翻译和LAFT。此外，无监督提示方法使用高资源语言的合成样本在低资源语言上进行多语言总结，效果优于有监督的提示。这些策略为低资源语言场景提供了实用参考。
编译器中间表示的应用价值
文章探讨了利用编译器中间表示来改进代码语言模型的多语言能力，并构建了并行数据集SLTrans。通过连续因果语言建模训练，在不同代码生成任务和度量标准中实现了显著提升。这表明中间表示可以促进跨语言转换，为提升代码模型的多语言性能提供了新思路。
多语言能力扩展与对齐
文章提到通过构建两个数据集，将LLaMA和BLOOM的多语言能力扩展到100种语言，并使用DPO算法进行与人类反馈的对齐。这定义了支持100种语言的多语言LLMs的最新技术。对于需要广泛语言覆盖的应用，这一进展具有重要意义。
Q&A
ERNIE-Code模型的主要功能是什么？
ERNIE-Code模型主要用于多语言自然语言处理和编程语言处理，支持跨语言预训练和代码生成等任务。
CodeFuse-13B在代码生成任务中的表现如何？
CodeFuse-13B在代码生成、翻译和注释等任务中表现优异，尤其是在中文提示下。
无监督提示方法的优势是什么？
无监督提示方法使用高资源语言的合成样本在低资源语言上进行总结，效果优于有监督的提示。
如何提高多语言代码模型的能力？
通过利用编译器中间表示和构建并行数据集SLTrans，可以显著提高多语言代码模型的能力。
大型语言模型在机器翻译任务中的表现如何？
研究发现，相对简单的模型在机器翻译任务中表现优于多语言大型语言模型，表明训练方法对模型有效性有影响。
如何扩展LLaMA和BLOOM的多语言能力？
通过构建两个数据集，可以将LLaMA和BLOOM的多语言能力扩展到100种语言，并实现与人类反馈的对齐。
