修补的 RTC：评估 LLMs 在各种软件开发任务中的应用
内容提要
本文探讨了大型语言模型（LLMs）在软件工程中的应用，特别是在代码合成和修复方面。研究通过轮回正确性评估方法，展示了LLMs在自动程序修复和代码审查中的有效性，并提出了新框架aLLM4TS，以提升时间序列表示学习的性能，强调了目标对齐在利用LLMs预训练能力中的重要性。
延伸解读
轮回正确性：一种可扩展的评估思路
文章提出轮回正确性作为替代评估方法，能在更广泛的软件领域评估代码大语言模型，并应用于代码合成和编辑。该方法与现有狭域代码合成基准的模型性能强相关，且无需昂贵人工标注，从而可扩展到更广领域和任务。这为评估LLM在软件工程中的实际能力提供了新途径。
LLM在自动程序修复与代码审查中的角色
文章指出，通过往返翻译，LLM可用于自动程序修复，修正语法错误并还原常见模式。同时，评估LLM在代码审查中的效果，通过比较其生成的修补程序集与人工历史数据，确定反馈的准确性、相关性和深度。这些探索显示了LLM支持开发人员的潜力。
aLLM4TS：面向时间序列表示学习的新框架
文章提出aLLM4TS框架，将时间序列预测重构为自监督多补丁预测任务，比传统遮罩重建更有效捕捉时间动态。训练分两阶段：因果连续预训练和多补丁预测微调。其独特之处是基于补丁的解码层，直接将补丁转换为时间序列，增强模型掌握补丁表示的能力，并在下游任务中表现卓越。
目标对齐：释放LLM预训练能力的关键
文章发现，目标对齐对于充分利用LLM的预训练能力至关重要。在程序修复中，通过直接调试替代传统的定位-修复工作流程，提出了利用LLM进行自动程序修复的新思路。这强调了根据任务特点进行原则性模型设计的重要性，以优化效果并推动领域创新。
Q&A
大型语言模型在软件开发中有哪些应用？
大型语言模型可用于代码合成、自动程序修复和代码审查等任务。
什么是aLLM4TS框架，它的主要功能是什么？
aLLM4TS是一个新框架，旨在提升LLMs在时间序列表示学习中的性能，通过将时间序列预测重新构想为自监督的多补丁预测任务。
如何评估大型语言模型在代码审查中的表现？
通过比较LLMs生成的修补程序集与人工生成的修补程序集，评估其反馈的准确性和相关性。
目标对齐在利用LLMs预训练能力中有何重要性？
目标对齐被发现是充分利用LLMs预训练能力的关键，有助于优化程序修复过程。
LLMs在自动程序修复中如何修正代码错误？
LLMs能够修正语法错误并还原代码中的常见模式，展示其在自动程序修复中的潜力。
本文提出了哪些新的程序修复思路？
提出了一种新的思路，通过直接调试替代传统的定位-修复工作流程，优化了程序修复过程。
