Copilot 优化：解决 Copilot 生成的 Python 代码中的代码异味
内容提要
该文综述AI编程工具研究：Copilot能解约半数编程题，但40%生成代码存漏洞；新手使用存在认知困难，交互呈加速与探索双模式。研究还提出代码异味分类、数据投毒防御及LLM协同修复补丁等方法，并开发Xcode集成工具，探讨局限与未来挑战。
延伸解读
AI编程助手的双模式交互
研究发现，程序员与Copilot的交互呈现双峰分布：加速模式下，程序员明确下一步操作，用Copilot快速完成；探索模式下，程序员不确定方向，用Copilot探索选项。这一理论有助于理解AI助手如何适应不同编程阶段，并为改进助手可用性提供依据。
生成代码的安全隐患
针对Copilot生成代码的安全研究显示，40%的代码存在高危漏洞，这引发了对AI编程工具安全性的担忧。同时，Codex等模型虽能避免一些简单错误，但仍会生成已知错误。开发者需警惕生成代码的潜在风险，并采取策略减少漏洞。
数据投毒作为防御手段
CoProtector技术通过向源代码库注入毒化数据，防御深度学习模型对开源代码的滥用。实验证明，它能显著降低类Copilot模型的性能，并嵌入水印后门以追踪滥用。这为保护代码版权提供了新思路，但也可能引发伦理争议。
机器学习代码异味的分类
论文提出了22种机器学习代码异味，解释了其背景、后果及解决方案，并关联到开发流程阶段。这有助于数据科学家和开发者识别和修复低质量代码，提升机器学习应用程序的可靠性和可维护性。
Q&A
GitHub Copilot 在解决编程问题上的表现如何？
在166个编程问题的公开数据集上，Copilot 能在第一次尝试中成功解决约一半的问题，并且仅通过改变问题描述的自然语言，就能解决剩余60%的问题。
Copilot 生成的代码存在哪些安全隐患？
研究发现，Copilot 生成的代码中约有40%存在高危漏洞，这对代码安全性构成了重大担忧。
新手使用 Copilot 时有哪些认知和交互上的困难？
新手在使用 Copilot 时存在认知和元认知困难，交互模式呈现双峰分布：加速模式（知道下一步，用 Copilot 完成）和探索模式（不确定，用 Copilot 探索选项）。
有哪些方法可以防御深度学习模型对开源代码的滥用？
CoProtector 是一种数据投毒技术，通过给源代码库武装来防御深度学习模型对开源代码的滥用，实验证明它能显著降低类 Copilot 模型的性能，并揭示嵌入的秘密水印后门。
如何利用大型语言模型协同合成更有效的补丁？
在修复自动化程序中，利用大型语言模型（LLMs）通过与补全引擎的互动，协同合成出更多有效的补丁，在相同生成预算下，比基础 LLM 能产生更多有效和正确的补丁。
机器学习代码异味有哪些？如何解决？
论文提出了22个机器学习代码异味，解释了它们的背景和可能后果，并给出了相应的解决方案以及它们所属的流程阶段和相关证据，以帮助生成和维护高质量的机器学习应用程序代码。
