数据污染与评估不端行为在闭源语言模型中的重复现象

💡 原文中文,约200字,阅读约需1分钟。
📝

内容提要

GPT-3.5模型泄露了470万个样本,存在数据污染问题,同时缺乏公平性和可复现性。

🎯

关键要点

  • 使用 OpenAI 的 GPT-3.5 进行了首次系统分析。
  • 揭示了 GPT-3.5 在数据污染方面的问题。
  • 模型在发布后一年内泄露了大约 470 万个样本。
  • 泄露样本来自 263 个基准。
  • 记录了被评审论文中出现的不公平或缺失的基准比较和可复现性问题。
➡️

继续阅读