康奈尔大学之论文审稿模型Reviewer2及我司七月对其的实现(含PeerRead)
原文中文，约11500字，阅读约需28分钟。
📝
内容提要
本文介绍了康奈尔大学的论文审稿模型Reviewer2的原理和实现，通过PGE方法从人工review中生成预设问题数据，并训练模型根据不同paper提出不同预设问题。同时介绍了Reviewer2的数据集来源和评估方法，以及同行评审数据集PeerRead的两个工作及对审稿GPT的启发。
❓
Q&A
Reviewer2模型的主要原理是什么？
Reviewer2模型通过PGE方法从人工review中生成预设问题数据，并训练模型根据不同论文提出不同的预设问题。
PeerRead数据集的主要功能是什么？
PeerRead数据集主要用于预测论文是否能被接受，以及根据review给论文打分。
如何评估Reviewer2生成的prompt质量？
Reviewer2通过人工评估和机器学习相结合的方式，对生成的prompt进行评分，使用5分制进行评估。
我司如何实现Reviewer2的工作？
我司通过人工生成种子数据集，然后使用PGE方法扩展更多的review-prompt数据，最终训练模型生成review。
PGE方法的具体流程是什么？
PGE方法包括生成步骤和评估步骤，目标是在上下文数百个review-prompt的示例下生成一组review的prompt。
Reviewer2的数据集来源于哪些会议？
Reviewer2的数据集来源于多个会议，包括PeerRead、CONLL-16、ACL-17等。
🏷️
