长代码竞技场：AI模型能多好地理解你的整个项目？
内容提要
JetBrains Research推出了Long Code Arena，包含六个基准测试，要求模型以整个项目作为输入。这些测试将帮助研究人员训练下一代智能AI代码模型。GPT-4在多个任务中表现最好。Long Code Arena是领域内第一个具有大量上下文的数据集，将推动代码模型的发展。
延伸解读
上下文长度成为代码模型新焦点
文章指出，AI模型处理上下文的能力正在成为提升代码任务表现的关键因素。随着模型能接收整个项目作为输入，它们有望在代码生成、补全等任务中提供更准确的输出。然而，现有基准大多仍停留在文件或函数级别，无法充分评估模型在真实项目规模下的能力。Long Code Arena的推出正是为了填补这一空白，推动模型向更大上下文迈进。
六项基准测试覆盖真实开发场景
Long Code Arena包含六个基准测试：代码生成、修复失败的CI构建、代码补全、生成提交信息、错误定位和代码总结。这些任务均要求模型以整个项目为输入，且每个任务都配有高质量的人工验证参考解决方案。例如，修复CI构建的测试会在GitHub Actions中实时运行模型生成的补丁，以模拟真实环境。这种设计使评估更贴近实际开发需求。
GPT-4领先但远未完美
在多个任务中，GPT-4表现最佳，但结果也揭示了巨大改进空间。例如，在代码生成任务中，GPT-4仅使用了参考解决方案中37%的API；在修复CI构建任务中，最佳模型GPT-3.5只能修复17%的失败构建。这些数据表明，尽管大上下文模型有潜力，但距离实用仍有差距，尤其是在处理复杂项目时。
新评估方法应对长文本挑战
针对代码总结任务，文章提出了一种新颖的评估指标：使用LLM来比较生成的文档与参考文档，判断哪个更匹配输入代码。由于传统文本比较指标针对短字符串设计，可能不适用于整页文档，这种方法通过多次随机顺序评估来减少偏差。这反映了在长上下文场景下，评估方法也需要创新，以准确衡量模型能力。
Q&A
Long Code Arena的主要功能是什么？
Long Code Arena是一个包含六个基准测试的数据集，要求AI模型以整个项目作为输入，以帮助训练下一代智能AI代码模型。
GPT-4在Long Code Arena中的表现如何？
GPT-4在多个任务中表现最好，但仍有改进空间，特别是在使用API方面仅使用了37%的参考解决方案。
Long Code Arena的基准测试包括哪些任务？
基准测试包括代码生成、修复失败的CI构建、代码补全、生成提交信息、错误定位和代码总结。
Long Code Arena如何推动代码模型的发展？
Long Code Arena提供了一个具有大量上下文的数据集，帮助研究人员训练更强大的AI代码模型，从而推动代码模型的发展。
AI模型在修复CI构建失败方面的表现如何？
即使是最好的模型，GPT-3.5，也只能修复17%的失败构建，表明在这一领域仍需大量改进。
Long Code Arena对未来研究的意义是什么？
Long Code Arena为未来的研究提供了重要的数据集，旨在提高代码模型的能力，促进更复杂的代码理解和生成。
