BriefGPT - AI 论文速递
·
结构感知的语料库构建及用户感知对齐的评估指标用于大语言模型代码补全
💡
原文中文，约300字，阅读约需1分钟。
📝
内容提要
本研究提出了新评估指标LCP和ROUGE-LCP，以缩小代码补全评估与用户感知之间的差距，并引入SPSR-Graph处理方法，以提升模型性能和用户一致性。
🎯
关键要点
- 本研究提出了新评估指标LCP和ROUGE-LCP，旨在缩小代码补全评估与用户感知之间的差距。
- 新评估指标是在概率建模的视角下进行设计的。
- 引入了一种基于保持结构和语义重排的代码图（SPSR-Graph）处理方法。
- SPSR-Graph方法旨在解决大型语言模型在代码补全任务中缺乏有效结构语义建模与跨模块依赖信息的问题。
- 研究表明，这些新措施显著提高了用户感知的一致性和模型性能。
➡️
