Modyn: 动态数据集上的模型训练平台与样本级数据选择

Dynabench是一个开源平台，用于创建动态数据集和进行模型基准测试。它解决了模型在基准任务上表现出色但在简单挑战示例和实际场景中失败的问题。该平台通过人和模型操作创建了能够被目标模型误分类但另一个人不能误分类的示例。它的优点和解决动态基准测定作为新标准引起的潜在反对意见也被阐述。