自然语言规划改善大语言模型代码生成的搜索能力
原文中文，约500字，阅读约需2分钟。发表于：。本研究针对大语言模型（LLMs）在推理计算中缺乏多样性所导致的低效搜索问题进行了探讨。通过提出PLANSEARCH这一新颖的搜索算法，研究表明基于自然语言的计划搜索能产生更为多样化的解决方案，从而显著提升了代码生成的效果，特别是在LiveCodeBench上达到了77.0%的最佳通过率。
本文介绍了一种新的代码到代码搜索技术，通过包括静态和动态特征以及在训练过程中利用相似和不同的示例来提高大型语言模型的性能。该方法能够在训练期间编码动态运行时信息，无需执行搜索语料库或搜索查询。研究验证了该方法的有效性，并展示了增强 LLMs 执行跨语言代码到代码搜索的能力。评估结果表明，该方法在各种模型架构和编程语言中都是一致的。研究还证明了相似和不同的参考是代码搜索的重要部分。开源模型的重要性也得到了凸显。
