ChatGPT 能评估研究质量吗？
内容提要
2023年多项研究评估了ChatGPT与GPT-4：作为自然语言生成指标，其与人类判断的相关性达到最高或竞争水平，其中生成数字评分法最有效；在文本摘要评估中优于部分自动指标。ChatGPT能完成多种NLP任务，在需求分析、科学写作、编程、医疗等领域具有助手潜力，但法律科学表现不佳，可靠性受角色设定和对抗样例影响，学生写作辅助效果反而不如对照组。
延伸解读
评估方法的关键差异
文章指出，ChatGPT作为自然语言生成指标时，生成数字评分法（Explicit Score）最有效可靠，而直接比较两个文本质量可能导致次优结果。这提示研究者在利用ChatGPT进行评估时，应优先选择生成数字评分的方式，避免直接比较，以提升评估的稳定性和准确性。
领域表现不均衡
ChatGPT在需求分析、科学写作、编程、医疗等领域展现出助手潜力，但在法律和科学方面表现不佳。大规模实验还发现其性能在不同领域间变化较大，且受系统角色和对抗性样例影响。因此，在实际应用中需针对具体领域进行验证，并注意角色设定和对抗性输入的干扰。
写作辅助的反直觉发现
一项针对学生论文写作的研究显示，使用ChatGPT-3作为写作辅助工具的实验组，在大多数参数下表现反而不如对照组。这表明，直接依赖ChatGPT进行写作辅助可能并未带来预期效果，甚至可能产生负面影响，提示教育者和学生需谨慎评估其实际作用。
Q&A
ChatGPT 作为自然语言生成指标，其可靠性如何？
研究表明，ChatGPT 作为 NLG 指标与人类判断的相关性达到同类指标的最高水平或具有竞争性，其中生成数字评分的 Explicit Score 方法最有效可靠，但直接比较两个文本质量可能导致次优结果。
ChatGPT 在文本摘要评估中表现怎么样？
ChatGPT 在文本摘要评估中优于某些数据集上常用的自动评估指标，并且研究还分析了不同提示对结果的影响。
ChatGPT 在哪些领域表现不佳？
ChatGPT 在法律和科学方面表现不佳，其可靠性还受系统角色和对抗性样例的影响。
ChatGPT 作为写作辅助工具对学生论文写作有帮助吗？
一项针对 ChatGPT-3 作为写作辅助工具的研究表明，在大多数参数下，控制组（未使用 ChatGPT）的论文写作表现优于实验组。
ChatGPT 在需求分析任务上表现如何？
ChatGPT 在多语言多类型需求文档检索上表现出令人惊叹的能力，能够有效完成需求分析任务。
GPT-4 能协助同行评审吗？
研究发现，利用 GPT-4 模型协助同行评审过程是可行的，人工智能可以对同行评审做出有效贡献，为解决资源限制问题提供新途径。
