💡 原文中文,约800字,阅读约需2分钟。
📝

内容提要

本研究探讨了GitHub Copilot的代码生成稳健性,发现不同表述的同一需求会导致约46%的代码差异,且在30%的情况下影响代码正确性,测试通过率仅为13%。因此,用户在使用AI工具时需谨慎验证。

🎯

关键要点

  • 本研究探讨了GitHub Copilot的代码生成稳健性。
  • 不同表述的同一需求会导致约46%的代码差异。
  • 在30%的情况下,代码的正确性会受到影响。
  • 测试通过率仅为13%。
  • 用户在使用AI工具时需谨慎验证。
  • 研究团队测试了892个Java方法,使用了手动和自动的复述技术。
  • AI代码生成工具尚不够稳健,实际使用时需多加小心。
➡️

继续阅读