LazyReview：NLP数据集揭示同行评审中的“懒惰思维”及大型语言模型检测
💡
原文英文，约1900词，阅读约需7分钟。
📝
内容提要
LazyReview是一个新数据集，旨在揭示科学同行评审中的“懒惰思维”问题。研究发现，评审者因工作量大而使用表面启发式，导致评审质量下降。该数据集包含500个专家标注和1276个银标注的评审片段，旨在帮助开发自动化工具识别这些问题。研究还测试了大型语言模型在检测懒惰思维方面的能力，结果表明改进的标注指南显著提升了模型的检测效果。
🎯
关键要点
- LazyReview是一个新数据集，旨在揭示科学同行评审中的懒惰思维问题。
- 评审者因工作量大而使用表面启发式，导致评审质量下降。
- 该数据集包含500个专家标注和1276个银标注的评审片段，帮助开发自动化工具识别懒惰思维。
- 懒惰思维在NLP评审中表现为基于表面启发式而非深入分析来评估论文。
- 根据ACL 2023报告，懒惰思维占作者报告的评审问题的24.3%。
- LazyReview数据集标注了细致的懒惰思维类别，支持自动化工具的开发。
- 研究使用GPT-4提取潜在的懒惰思维片段，验证准确性高。
- 注释过程需要经验丰富的研究人员进行分类，并通过多轮改进注释指南。
- LazyReview数据集包含16个懒惰思维类别，最常见的是'额外实验'。
- 研究测试了大型语言模型在检测懒惰思维方面的能力，结果显示改进的标注指南显著提升了模型的检测效果。
- 通过提供正面示例，研究发现可以提高大型语言模型检测懒惰思维的能力。
- 研究表明，使用懒惰思维注释可以显著提高评审质量。
- LazyReview填补了NLP研究中的重要空白，旨在改善同行评审过程的有效性。
- 研究者承认工作中的一些局限性，包括懒惰思维的定义和类别可能不适用于其他领域。
➡️
