专治AI审稿?论文暗藏好评提示词,谢赛宁呼吁关注AI时代科研伦理的演变
💡
原文中文,约3100字,阅读约需8分钟。
📝
内容提要
近期,AI审稿人在期刊中被广泛使用,部分作者在论文中插入隐藏指令以操控AI给出好评。日本经济新闻报道,17篇论文中发现此类秘密指令,涉及多个国家的高校。这一事件引发了对AI审稿伦理的讨论,专家呼吁重新审视AI在学术中的应用界限。
🎯
关键要点
- AI审稿人在期刊中被广泛使用,部分作者插入隐藏指令操控AI给好评。
- 日本经济新闻报道发现17篇论文中存在秘密指令,涉及多个国家的高校。
- 相关论文大多属于计算机科学领域,提示内容引导AI给出正面评价。
- 韩国科学技术院副教授Se-Young Yun的团队被发现植入了秘密指令。
- 纽约大学助理教授谢赛宁的团队也被指控使用隐藏指令,表示对此不知情。
- 谢赛宁认为当前系统结构为此类行为留下空间,需深入讨论AI时代的科研伦理。
- 事件引发对AI审稿公正性的担忧,认为不应使用大模型进行审稿。
- 一些会议和期刊对AI审稿持不同态度,部分禁止使用AI参与评审。
- ICLR 2025成为首个允许AI参与审稿的会议,但强调AI不会取代人工审稿。
- AI行业发展推动学术研究积极性,投稿量激增带来审稿压力,需探讨AI在科研中的应用边界。
❓
延伸问答
近期关于AI审稿的争议主要集中在哪些方面?
争议主要集中在作者在论文中插入隐藏指令以操控AI给出好评,以及AI审稿的伦理和公正性问题。
哪些高校的论文被发现存在秘密指令?
涉及的高校包括日本早稻田大学、韩国科学技术院、美国哥伦比亚大学、华盛顿大学和北京大学等。
谢赛宁对论文中隐藏指令的看法是什么?
谢赛宁表示对此不知情,并认为当前系统结构为此类行为留下空间,需要深入讨论AI时代的科研伦理。
ICLR 2025会议对AI审稿的态度是什么?
ICLR 2025成为首个允许AI参与审稿的会议,但强调AI不会取代人工审稿。
使用AI审稿的期刊和会议有哪些不同的政策?
一些会议和期刊禁止使用AI参与评审,而有些则允许在确保保密性的前提下使用AI提升评审质量。
为什么一些研究者在论文中插入隐藏指令?
一些研究者认为这是对AI审稿人使用不当的回应,试图通过这种方式确保论文获得正面评价。
➡️