上交大揭露大模型审稿风险：一句话就能让论文评分飞升
内容提要
大语言模型（LLMs）在学术同行评审中逐渐应用，但可能引发操控、偏见和幻觉等风险。研究表明，作者可能通过隐性或显性方式影响审稿意见，损害评审公正性。专家建议暂停LLMs作为审稿工具，并引入检测工具和问责机制，以维护学术评审的公平性和严谨性。
关键要点
-
大语言模型（LLMs）在学术同行评审中逐渐应用，但存在操控、偏见和幻觉等风险。
-
研究表明，作者可能通过隐性或显性方式影响审稿意见，损害评审公正性。
-
斯坦福大学的研究指出，LLMs能够生成与人类审稿人相似的审稿意见，且部分论文内容由LLMs显著调整。
-
大语言模型的使用可能导致审稿过程的可靠性风险，需采取防范措施。
-
研究揭示了操控风险，包括显式操控和隐式操控，可能影响审稿的公平性。
-
幻觉问题：LLMs可能对空白文章生成虚构的审稿意见，影响评审质量。
-
偏见问题：LLMs在审稿中对文章长度和著名作者及机构存在偏好，影响评审公正性。
-
研究者呼吁暂停LLMs作为审稿工具，并引入检测工具和问责机制，以维护学术评审的公平性和严谨性。
-
未来应将LLMs作为辅助工具使用，增强审稿系统的稳健性与安全性。
延伸解读
大语言模型的操控风险
研究显示，作者可以通过在论文中插入微小的指令性文字，操控大语言模型生成的审稿意见。这种显式操控手段可能导致审稿系统的判断被扭曲，严重影响学术评审的公正性。学术界需对此保持警惕，制定有效的防范措施。
隐性操控的潜在威胁
除了显式操控，隐性操控同样令人担忧。作者在论文中主动披露局限性，可能导致大语言模型生成与之高度一致的审稿意见。这种操控方式更难被察觉，可能对评审的公平性构成严重威胁，需引起重视。
幻觉与偏见问题
大语言模型在审稿中可能出现幻觉问题，即对空白文章生成虚构的审稿意见。此外，模型对文章长度和作者机构存在偏见，可能加剧学术评价体系的不公平。研究者呼吁在使用前充分了解这些风险。
延伸问答
大语言模型在学术同行评审中存在哪些风险？
大语言模型在学术同行评审中存在操控、偏见和幻觉等风险，可能影响评审的公正性和可靠性。
研究者对大语言模型的使用提出了哪些建议？
研究者建议暂停大语言模型的替代性使用，引入检测工具和问责机制，并将其作为辅助工具使用。
大语言模型如何可能操控审稿意见？
作者可以通过在文章中插入微小的指令性文字，操控大语言模型生成有利的审稿意见，从而提高论文评分。
大语言模型在审稿中表现出哪些偏见？
大语言模型对文章长度和著名作者及机构存在偏好，可能导致评审不公正。
什么是大语言模型的幻觉问题？
幻觉问题指的是大语言模型可能对空白文章生成虚构的审稿意见，影响评审质量。
大语言模型的使用对学术评审的未来有何影响？
大语言模型的使用可能加剧学术评价体系中的不公平问题，影响科研环境的可信度。
