RD2Bench：基于数据为中心的自动研发与设计

原文约300字，阅读约需1分钟。发表于：。

提出了一种名为 RD2Bench 的基于真实数据的人工智能研发自动化基准系统，它旨在评估各种模型能力的相互作用和协同效应，以帮助选择表现良好的可信模型，从而自动化研究和开发的过程。

Dynabench是一个开源平台，支持动态数据集创建和模型基准测试。它解决了模型在基准任务上表现优异，但在简单挑战示例和实际场景中失败的问题。通过人和模型操作，创建能够被目标模型误分类但另一个人不能误分类的示例。该平台的优点和解决动态基准测定作为新标准引起的潜在反对意见也被阐述。