MdEval: Massively Multilingual Code Debugging
💡
原文英文,约100词,阅读约需1分钟。
📝
内容提要
本研究提出了首个大规模多语言调试基准MdEval,涵盖18种编程语言的3.6K测试样本。引入调试指令语料库MDEVAL-INSTRUCT,并开发多语言调试器xDebugCoder,显著提升调试效果,揭示开源与闭源模型的性能差距,显示改进空间。
🎯
关键要点
- 本研究提出了首个大规模多语言调试基准MdEval,涵盖18种编程语言的3.6K测试样本。
- 引入了调试指令语料库MDEVAL-INSTRUCT。
- 开发了多语言调试器xDebugCoder,显著提高了多语言代码调试的效果。
- 研究揭示了开源模型与闭源大型语言模型之间的性能差距,显示出该领域的巨大改进空间。
🏷️
标签
➡️