BriefGPT - AI 论文速递
·
How Robust Are Large Language Models in Understanding Code Against Semantics-Preserving Mutations?
💡
原文英文，约100词，阅读约需1分钟。
📝
内容提要
本研究探讨了大语言模型在编程任务中理解代码的鲁棒性。通过五种保持语义的代码变异，评估了多个先进模型对Python程序的理解能力。结果显示，部分模型在61%的情况下基于错误推理做出正确预测，表明其对代码变异的鲁棒性有限，这对大语言模型在编程领域的应用提出了挑战。
🎯
关键要点
- 本研究探讨了大语言模型在编程任务中理解代码的鲁棒性。
- 研究采用了五种保持语义的代码变异来评估多个先进模型对Python程序的理解能力。
- 结果显示，部分模型在61%的情况下基于错误推理做出正确预测。
- 这表明大语言模型对代码变异的鲁棒性有限。
- 这一发现对大语言模型在编程领域的有效应用提出了挑战。
➡️
