康奈尔大学之论文审稿模型Reviewer2及我司七月对其的实现(含PeerRead)
💡
原文中文，约11500字，阅读约需28分钟。
📝
内容提要
本文介绍了康奈尔大学的论文审稿模型Reviewer2的原理和实现，通过PGE方法从人工review中生成预设问题数据，并训练模型根据不同paper提出不同预设问题。同时介绍了Reviewer2的数据集来源和评估方法，以及同行评审数据集PeerRead的两个工作及对审稿GPT的启发。
🎯
关键要点
-
本文介绍了康奈尔大学的论文审稿模型Reviewer2的原理和实现。
-
Reviewer2通过PGE方法从人工review中生成预设问题数据。
-
模型训练基于不同论文生成不同的预设问题。
-
Reviewer2的数据集来源于多个会议，包括PeerRead、CONLL-16、ACL-17等。
-
PGE流程包括生成步骤和评估步骤，旨在生成高质量的review prompt。
-
生成的prompt通过人工评估和机器学习相结合的方式进行评分。
-
我司七月审稿项目组决定自行实现Reviewer2的工作。
-
通过PGE方法生成大量的review-prompt数据，并进行人工打分。
-
PeerRead数据集的两个主要工作是预测论文是否能被接受和根据review给论文打分。
-
PeerRead的工作为我司审稿GPT提供了重要的启发，尤其是在数据微调和评分模型方面。
➡️
