量子位
·
AI代码补全哪家强？两个新指标+一套新框架，让模型更懂开发者
💡
原文中文，约4800字，阅读约需12分钟。
📝
内容提要
中兴通讯团队提出了新评测指标LCP和ROUGE-LCP，以及SPSR-Graph框架，旨在提升AI代码补全工具的性能，更好地满足开发者需求。这些方法解决了AI工具在代码补全中的关键痛点，增强了模型对复杂代码结构的理解能力。
🎯
关键要点
- 中兴通讯团队提出了新评测指标LCP和ROUGE-LCP，以及SPSR-Graph框架，旨在提升AI代码补全工具的性能。
- 当前AI代码补全工具的建议常常不符合用户预期，存在评价指标与用户真实感受之间的鸿沟。
- 团队认为要解决AI代码补全问题，需明确高质量代码补全的标准和教会AI理解复杂代码结构。
- LCP（最长公共前缀长度）强调从第一个字符开始的连续匹配性，更贴近用户的真实感知。
- ROUGE-LCP在LCP基础上进行归一化，能够公平比较不同长度的补全样本，反映模型输出的实用性。
- SPSR-Graph框架通过构建代码知识图谱，帮助AI理解复杂代码仓库的结构和语义。
- 实验结果显示，LCP与用户采纳率之间存在显著正相关，证明新指标更能捕捉用户的采纳行为。
- 采用SPSR-Graph的模型在代码补全任务中表现出显著的性能提升，尤其在C语言上。
- 未来团队将继续研究LCP和ROUGE-LCP指标在更多代码生成任务中的适配性，并探索与强化学习的结合。
❓
延伸问答
中兴通讯团队提出了哪些新评测指标？
中兴通讯团队提出了LCP（最长公共前缀长度）和ROUGE-LCP两个新评测指标。
LCP指标的核心价值是什么？
LCP强调从第一个字符开始的连续匹配性，更能反映用户在实际操作中的体验。
SPSR-Graph框架的主要目标是什么？
SPSR-Graph框架的主要目标是通过构建代码知识图谱，帮助AI理解复杂代码仓库的结构和语义。
新指标LCP与用户采纳率之间的关系如何？
实验结果显示，LCP值与用户采纳率之间存在显著正相关，LCP越高，用户越愿意采纳AI的建议。
ROUGE-LCP指标的设计理念是什么？
ROUGE-LCP在LCP基础上进行归一化，能够公平比较不同长度的补全样本，反映模型输出的实用性。
未来团队对LCP和ROUGE-LCP指标的研究方向是什么？
未来团队将继续研究LCP和ROUGE-LCP指标在更多代码生成任务中的适配性，并探索与强化学习的结合。
➡️
