InfoQ ·

Code Arena作为现实世界AI编码性能的新基准正式推出

💡 原文英文，约400词，阅读约需2分钟。

📝

内容提要

LMArena推出了Code Arena，这是一个评估平台，用于测量AI模型在构建完整应用程序中的表现。该平台强调模型的自主行为，允许在模拟开发环境中规划和迭代代码，并记录每个操作以确保透明性和可重复性。它结合了人类判断评分功能和可用性，并引入了新的排行榜，鼓励开发者参与和实验，早期反应积极。

🎯

🔎

Code Arena强调每个操作的记录和可恢复性，这为AI模型的评估提供了科学严谨的基础。开发者可以通过透明的评估过程，深入了解模型在实际应用中的表现，确保结果的可信度和可比性。

Code Arena的设计鼓励开发者积极参与，通过实时输出和投票机制，社区的反馈将直接影响平台的演进。这种互动不仅促进了技术的进步，也为开发者提供了一个共享经验和知识的空间。

与以往依赖狭窄测试案例的基准不同，Code Arena通过模拟真实开发环境，全面评估AI模型的能力。这种方法更贴近实际应用，能够更好地反映模型在复杂任务中的表现，帮助开发者做出更明智的选择。

❓

Code Arena是一个评估平台，用于测量AI模型在构建完整应用程序中的表现，强调模型的自主行为和透明性。

每个操作都被记录，确保透明性和可重复性，评估过程遵循可再现的路径。

Code Arena不仅检查代码是否编译，还评估模型如何推理任务、管理文件和逐步构建功能性网页应用。

开发者可以探索实时输出、投票和检查完整项目树，社区参与是平台的核心。

新排行榜专为更新的方法论而建立，确保结果反映一致的环境和评分标准。

早期反应积极，社区鼓励实际实验，强调模型在构建真实应用中的能力。

🏷️