使用大型语言模型评估研究质量：对ChatGPT在不同设置和输入下有效性的分析
内容提要
研究表明，ChatGPT及类似模型在文本质量评估中表现优异，尤其在生成数字评分方面。尽管GPT-4能识别大部分论文错误，但在选择优质论文时仍存在误差。GPT-4在特定任务上可与人工评审相媲美，但在复杂方法和伦理问题上存在局限。未来需谨慎使用大型语言模型，并探索其对科学评审的影响。
延伸解读
评估方法的选择影响结果可靠性
文章比较了三种基于ChatGPT的无参考评估方法，发现利用ChatGPT生成数字评分的Explicit Score方法最有效可靠，而直接比较两个文本质量可能导致次优结果。这提示研究者在利用LLM评估文本时，应优先选择生成明确评分的方式，而非直接进行文本比较，以提高评估的稳定性和准确性。
GPT-4在论文评审中的表现与局限
研究表明，GPT-4能有效识别论文中的大部分错误，但在挑选更好论文时存在误差。在用户研究中，57.4%的研究人员认为GPT-4生成的反馈有帮助，82.4%认为它比部分人工审稿人更有益。然而，GPT-4在数据提取方面仅达中等水平，筛选性能受提示可靠性和语言影响，且无法评估伦理问题与利益冲突，因此目前应谨慎用于系统综述。
LLM在科学评审中的实际影响与风险
文章指出，LLM已对科学文献产生显著影响，2024年超过10%的摘要使用了LLMs处理。在同行评议中，6.5%至16.9%的评审文本可能由LLM大幅修改，且截止日期临近的评审中LLM生成比例更高。这揭示了LLM使用的普遍性，但也带来对评审质量和诚信的担忧，未来需跨学科研究其长期影响。
Q&A
ChatGPT在文本质量评估中表现如何？
ChatGPT能够有效评估文本质量，尤其是生成数字评分的Explicit Score方法最为可靠。
GPT-4在选择优质论文时存在哪些问题？
尽管GPT-4能识别大部分论文错误，但在选择优质论文时仍存在误差。
用户对GPT-4生成反馈的看法如何？
超过57%的用户认为GPT-4生成的反馈有所帮助，82.4%认为其反馈比部分人工审稿人更有益。
GPT-4在数据提取方面的表现如何？
GPT-4在数据提取方面表现中等，筛选性能在不同阶段和语言上表现不一。
大型语言模型在科学评审中有哪些潜在影响？
新型大语言模型可加快科学评审进程，但对复杂方法和伦理问题的理解仍有限。
未来对大型语言模型的使用应注意什么？
未来需谨慎使用大型语言模型，并探索其对科学评审的影响。
