通过本地集成 IDE 导出的静态上下文增强 LLM 编码工具
内容提要
该文综述多项代码大模型研究：提出跨文件语境框架CoCoMIC以提升补全准确性；发现Llama-2等开源模型能理解新库；研究对话式编程助手、仓库级提示与检索生成方法；指出潜在bug会降低补全性能；提出静态分析引导解码及跨文件多语言基准；并介绍代码翻译模型Codeditor与仓库上下文补全框架RepoFusion。
延伸解读
跨文件上下文：提升补全准确性的关键
文章指出，跨文件上下文对代码补全准确性有显著影响。CoCoMIC 框架通过定位和检索最相关的跨文件语境，有效提高了补全准确性；RepoFusion 则利用相关代码库上下文，在单行补全任务中表现优于参数量大70倍的模型。这表明，仅依赖文件内上下文可能不足，整合跨文件信息是提升代码模型性能的重要方向。
开源小模型也能理解新库，无需演示
研究发现，开源较小模型如 Llama-2 和 StarCoder 能熟练理解新型代码库，即使仅提供自然语言描述或原始代码实现，效果也优于演示。这降低了使用 LLM 学习新库的成本，为在动态编码环境中利用 LLM 提供了依据，也说明演示并非必需。
潜在 bug 与静态分析引导解码
文章提到，潜在 bug 会显著降低 Code-LLMs 的性能，且后处理效果有限。同时，有研究提出使用静态分析策略（监视器）指导解码器生成正确类型的标识符，实验表明，在指导下，较小 LM 的编译率和正确性可优于较大 LM。这提示，结合静态分析可提升代码生成质量，尤其对资源有限场景有实用价值。
对话式助手与仓库级提示的实践启示
一项用户研究显示，基于 LLM 的对话式 IDE 插件比 Web 搜索更有效地帮助理解代码，但效果因经验水平而异。此外，仓库级提示与 RepoCoder 的迭代检索生成方法存在权衡。这些发现表明，工具设计需考虑用户差异，并在提示策略上平衡检索与生成，以优化开发者生产力。
Q&A
CoCoMIC 是什么？它如何提升代码补全的准确性？
CoCoMIC 是一个基于预训练代码语言模型的跨文件语境学习框架，通过有效定位和检索最相关的跨文件语境，成功提高了代码完成的准确性。
开源小模型如 Llama-2 和 StarCoder 能理解新库吗？
是的，研究表明即使是开源的较小型 LLMs，如 Llama-2 和 StarCoder，也展现出了对新型代码库的熟练理解能力。
对话式编程助手如何帮助理解代码？
通过 IDE 插件，用户可以用高级请求查询后端（如 GPT-3.5 和 GPT-4），这种方法比 Web 搜索更有效地帮助理解代码，但效果因参与者经验水平而异。
潜在 bug 对代码补全性能有什么影响？
潜在 bug 会显著降低 Code-LLMs 的性能，尽管调查了几种后处理方法，但效果有限。
静态分析如何指导代码生成？
通过静态分析策略（称为监视器）指导解码器生成包含正确类型的标识符代码，将检索引入解码过程，实验表明在指导下，一些较小的 LMs 的编译率和正确性优于一些较大的 LMs。
Codeditor 在代码翻译方面表现如何？
Codeditor 是第一个使用 LLMs 进行代码翻译的模型，在所有常用的自动指标上都大幅超越了现有方法，并且与现有生成模型配合使用可以获得更好的性能。
RepoFusion 框架有什么特点？
RepoFusion 是一个新型框架，可以训练模型根据相关的代码库上下文提供更准确的代码自动补全建议，在单行代码完成任务中展示出比训练数据规模大 70 倍的模型表现 F1 分数更加优秀。
