评估代码生成大型语言模型中的长距离依赖处理能力
As language models support larger and larger context sizes, evaluating their ability to make effective use of that context becomes increasingly important. We analyze the ability of several code...
随着语言模型支持更大的上下文，评估其有效利用能力变得重要。我们分析了多个代码生成模型在处理长距离依赖时的表现，发现许多模型在引用后定义的函数时性能显著下降。使用滑动窗口注意力机制的模型在处理超出窗口大小的引用时也存在困难。通过简单的提示修改，我们提高了多步骤检索性能，表明长上下文性能需要更多关注。
