内容提要
辛辛那提大学NLP组预印本实测四个顶会2000篇论文发现,GPT与Claude等新模型生成的审稿缺点约62%摘自附录,人类审稿人仅8.4%,差距近7倍;API、编程代理、网页三种调用方式均超50%,旧模型GPT-5不超30%,属新行为。研究存在局限:归因由LLM自动完成、未评估缺点质量、人机对照组年份与论文不同、仅限长附录论文,且为单一实验室预印本,62%宜视为待复现信号。
延伸解读
“附录依赖”测的是来源,不是质量
研究把“附录依赖”定义为审稿缺点的内容来源落在正文之外的补充材料里,只统计来源和内容,不评估缺点本身是否成立、是否有用。论文也指出,有些摘自附录的缺点确实指向真实问题。因此62%这个数字反映的是AI审稿的注意力偏移,不能直接等同于审稿质量差,读者不宜把它误读为“AI审稿六成是错的”。
人机对比存在年份与样本错位
LLM组抽自ACL 2026、EMNLP 2026、COLM 2026、ICLR 2027,人类对照组则来自ICLR 2021至2024,两组是不同论文、不同年份。写作风格与附录规范随时间变化,会干扰比较。加上抽样限定附录不少于15页或10页的长附录论文,结论不能外推到全部投稿,62%宜视为待复现信号。
人类审稿附录化上升只是时间相关
人类审稿人的附录化缺点比例长期稳定在6%至10%,ICLR 2027升至27.60%,时间上与GPT-6-Astra、Claude-Opus-5.5的发布重合。但论文明确声明这只是时间相关,不构成LLM导致人类审稿附录化的证据。读者应避免把时间重合解读为因果关系,这一变化也可能来自审稿规范或写作习惯的演变。
预印本与利益相关需谨慎看待
该研究是未标注录用信息的纯预印本,出自单一实验室,而“AI审稿质量”正是NLP学术社区自身的利益相关话题。官方复现仓实测stars仅2,第三方独立验证尚未发生。此外,缺点归因由LLM自动完成,人工只做抽样复核,缺点含糊或跨多节时容易判错。在这些边界被独立验证前,62%更适合作为观察信号而非定论。
Q&A
AI审稿人为什么特别爱从论文附录里挑缺点?
研究发现,最新GPT与Claude模型生成的审稿缺点中约62%摘自附录,而人类审稿人仅8.4%。论文认为这是新一代模型才出现的新行为,但具体原因未在文中明确解释,只指出该现象与调用方式无关。
AI审稿缺点摘自附录的比例具体是多少?和人类差距多大?
按论文Table 1口径,ICLR 2027的LLM审稿缺点摘自附录的均值是62.00% ± 7.70,人类审稿(ICLR 2021-2024)仅8.40% ± 1.44,差距接近7倍。
不同调用方式(API、编程代理、网页)会影响AI审稿的附录依赖吗?
不会。研究通过API、Codex与Claude Code编程代理、网页界面三种方式调用模型,产生的审稿缺点来自附录的比例都超过50%,说明附录依赖与调用方式无关。
旧模型如GPT-5也有附录依赖问题吗?
GPT-5的审稿缺点与附录相关的不超过30%,而GPT-6-Astra与GPT-6.1-Sol达到约60-70%,论文据此判断附录依赖是新一代模型才出现的新行为。
这项研究有哪些局限性?62%的结论可靠吗?
论文自述四类局限:缺点归因由LLM自动完成、未评估缺点质量、人机对照组年份与论文不同、仅限长附录论文。且为单一实验室预印本,复现仓stars仅2,第三方验证尚未发生,62%宜视为待复现信号而非定论。
人类审稿人的附录依赖比例有变化吗?和AI发布有关吗?
人类审稿人的附录化缺点比例长年稳定在6-10%,但ICLR 2027升至27.60%,时间上与GPT-6-Astra、Claude-Opus-5.5的发布重合。论文明确声明这只是时间相关,不构成LLM导致人类审稿附录化的证据。