编程语言和自然语言的对齐：探索多模态变换器嵌入在缺陷定位中的设计选择
内容提要
DeepDebug是一种数据驱动的程序修复方法，通过学习GitHub代码库中的Java方法，检测和修复错误。该方法结合去噪预训练和有监督微调，展现出优于以往的异常检测能力。研究表明，基于语言模型的深度上下文化单词表征和大型语言模型在缺陷检测中表现出色，能够有效识别有缺陷的代码。
延伸解读
从代码修复到缺陷检测的技术演进
文章梳理了多项研究，展示了缺陷定位与修复技术的演进脉络。从DeepDebug的序列到序列学习，到ELMo深度上下文化词嵌入，再到BERT在缺陷报告检索中的优势，以及大型语言模型的代码对分类任务，这些工作共同推动了自动化缺陷检测与修复的发展。读者可以从中看到不同时期的技术重点和效果提升。
嵌入方法选择对缺陷报告检索的影响
在检索类似缺陷报告的任务中，不同嵌入模型的性能差异显著。研究比较了TF-IDF、FastText、Gensim、BERT和ADA，发现BERT在召回率上通常表现最佳，其次是ADA、Gensim、FastText和TF-IDF。这提示实践者，选择合适的嵌入方法对提升缺陷报告检索效果至关重要，BERT可能是优先考虑的方向。
预训练语言模型在脆弱性分析中的局限与改进
虽然预训练语言模型在关联潜在脆弱语句方面表现较好，但对脆弱路径的关联性较弱甚至没有。通过解释性工具和关注分析，研究者开发了两种注释方法，提供错误语义信息，使模型与脆弱语句的关联性提高高达232%。这表明提供错误语义信息有助于模型性能提升，并激发了对更复杂路径错误语义的研究。
大型语言模型在缺陷检测中的新范式
大型语言模型通过代码生成和理解任务进行细粒度调整，在缺陷检测和修补中表现出色。研究提出代码对分类任务，让模型接收有缺陷和无缺陷的代码对，识别出有缺陷的版本。实验证明，与判断代码片段中是否存在缺陷及其位置相比，大型语言模型更容易识别出有缺陷的代码对，这为缺陷检测提供了新的思路。
Q&A
DeepDebug 是什么？
DeepDebug 是一种数据驱动的程序修复方法，通过学习 GitHub 代码库中的 Java 方法来检测和修复错误。
DeepDebug 如何提高异常检测能力？
DeepDebug 通过去噪预训练和有监督微调的方式，展现出优于以往的异常检测能力。
DeBERTa 技术在 DeepDebug 中的作用是什么？
DeBERTa 技术在 DeepDebug 中用于对开源数据集进行分析，显示其在开发者和组件分配任务中最有效。
如何通过 GitHub 项目代码的变更历史进行缺陷修复？
通过挖掘 GitHub 项目代码的变更历史，设计并训练一个 Encoder-Decoder 模型，能够生成候选修复程序。
BERT 模型在缺陷报告检索中的表现如何？
BERT 模型在检索类似缺陷报告方面表现优于其他模型，强调选择合适的嵌入方法的重要性。
大型语言模型在缺陷检测中有什么优势？
大型语言模型能够通过代码对分类任务识别有缺陷的版本，表现出色。
