自然语言规划改善大语言模型代码生成的搜索能力

💡 原文中文,约500字,阅读约需2分钟。
📝

内容提要

本文介绍了一种新的代码到代码搜索技术,通过包括静态和动态特征以及在训练过程中利用相似和不同的示例来提高大型语言模型的性能。该方法能够在训练期间编码动态运行时信息,无需执行搜索语料库或搜索查询。研究验证了该方法的有效性,并展示了增强 LLMs 执行跨语言代码到代码搜索的能力。评估结果表明,该方法在各种模型架构和编程语言中都是一致的。研究还证明了相似和不同的参考是代码搜索的重要部分。开源模型的重要性也得到了凸显。