康奈尔大学之论文审稿模型Reviewer2及我司七月对其的实现(含PeerRead)
内容提要
本文介绍了康奈尔大学的论文审稿模型Reviewer2的原理和实现，通过PGE方法从人工review中生成预设问题数据，并训练模型根据不同paper提出不同预设问题。同时介绍了Reviewer2的数据集来源和评估方法，以及同行评审数据集PeerRead的两个工作及对审稿GPT的启发。
延伸解读
Reviewer2的PGE方法：如何生成高质量审稿问题
Reviewer2的核心创新在于PGE（Prompt Generation with Evaluation）流程。它首先用Llama-2-70B从人工review中零样本生成初始prompt，再通过人工优化构建种子示例。生成新prompt时，采用上下文学习（ICL），从不断扩大的示例池中随机采样，确保多样性。评估阶段则基于5分制，用25个人工示例（每个分数5个）进行ICL评分，并引入思维链让模型解释评分理由。若得分低于5分，则重新生成，最多5次。超过90%的prompt在3次内达到5分。这一方法平衡了通用性与特异性
七月审稿项目组的复现实践与关键步骤
由于Reviewer2未公开代码和数据，七月审稿项目组自行复现。他们先人工构建种子数据集：6人各负责20篇paper-review，提示Llama 3或GPT4生成预设问题，并由GPT4-0409评判。随后基于种子数据，通过PGE扩大数据规模。具体实现包括：用ICL从种子集中随机抽取5个示例生成prompt；根据人工编写的25个评分示例（1-5分各5个）对prompt打分；设置重新生成规则，每个review最多生成5次，达到5分则存入数据集。最终用[paper, 预设问题]微调Llama 3，使其能根据论文预测问题
PeerRead数据集的双重任务及其对审稿GPT的启发
PeerRead是2018年CMU等机构提出的同行评审数据集，包含两个任务：一是预测论文是否被会议接收，二是根据review预测论文在七个方面（如新颖性、实质等）的评分。其数据来自OpenReview、NIPS等会议，包含大量paper-review对及人工标注的方面评分。对审稿GPT的启发在于：可利用PeerRead的标注数据训练review打分模型，或训练模型根据paper预测各方面评分。结合自动生成的review，可对review中的要点逐一打分，再加权得到论文总分。这为构建端到端的审稿评估系统提供了思路，但
Q&A
Reviewer2模型的主要原理是什么？
Reviewer2模型通过PGE方法从人工review中生成预设问题数据，并训练模型根据不同论文提出不同的预设问题。
PeerRead数据集的主要功能是什么？
PeerRead数据集主要用于预测论文是否能被接受，以及根据review给论文打分。
如何评估Reviewer2生成的prompt质量？
Reviewer2通过人工评估和机器学习相结合的方式，对生成的prompt进行评分，使用5分制进行评估。
我司如何实现Reviewer2的工作？
我司通过人工生成种子数据集，然后使用PGE方法扩展更多的review-prompt数据，最终训练模型生成review。
PGE方法的具体流程是什么？
PGE方法包括生成步骤和评估步骤，目标是在上下文数百个review-prompt的示例下生成一组review的prompt。
Reviewer2的数据集来源于哪些会议？
Reviewer2的数据集来源于多个会议，包括PeerRead、CONLL-16、ACL-17等。
