Large-Scale Multilingual Code Completion Evaluation: M2RC-EVAL
原文英文,约100词,阅读约需1分钟。
📝
内容提要
本研究提出了涵盖18种编程语言的新基准M2RC-EVAL,解决了现有代码补全基准在多语言评估中的不足,并有效提升了大型语言模型的补全能力。
🎯
关键要点
-
本研究提出了新基准M2RC-EVAL,涵盖18种编程语言。
-
解决了现有代码补全基准在多语言评估中的不足。
-
提供了细粒度的场景注释。
-
研究发现该基准及其配套的M2RC-INSTRUCT数据集有效提升了大型语言模型的补全能力。
🏷️