MdEval: Massively Multilingual Code Debugging

💡 原文英文,约100词,阅读约需1分钟。
📝

内容提要

本研究提出了首个大规模多语言调试基准MdEval,涵盖18种编程语言的3.6K测试样本。引入调试指令语料库MDEVAL-INSTRUCT,并开发多语言调试器xDebugCoder,显著提升调试效果,揭示开源与闭源模型的性能差距,显示改进空间。

🎯

关键要点

  • 本研究提出了首个大规模多语言调试基准MdEval,涵盖18种编程语言的3.6K测试样本。
  • 引入了调试指令语料库MDEVAL-INSTRUCT。
  • 开发了多语言调试器xDebugCoder,显著提高了多语言代码调试的效果。
  • 研究揭示了开源模型与闭源大型语言模型之间的性能差距,显示出该领域的巨大改进空间。
➡️

继续阅读