💡
原文中文,约800字,阅读约需2分钟。
📝
内容提要
本研究探讨了GitHub Copilot的代码生成稳健性,发现不同表述的同一需求会导致约46%的代码差异,且在30%的情况下影响代码正确性,测试通过率仅为13%。因此,用户在使用AI工具时需谨慎验证。
🎯
关键要点
- 本研究探讨了GitHub Copilot的代码生成稳健性。
- 不同表述的同一需求会导致约46%的代码差异。
- 在30%的情况下,代码的正确性会受到影响。
- 测试通过率仅为13%。
- 用户在使用AI工具时需谨慎验证。
- 研究团队测试了892个Java方法,使用了手动和自动的复述技术。
- AI代码生成工具尚不够稳健,实际使用时需多加小心。
🏷️
标签
➡️