康奈尔大学之论文审稿模型Reviewer2及我司七月对其的实现(含PeerRead)
💡
原文中文，约11500字，阅读约需28分钟。
📝
内容提要
本文介绍了康奈尔大学的论文审稿模型Reviewer2的原理和实现，通过PGE方法从人工review中生成预设问题数据，并训练模型根据不同paper提出不同预设问题。同时介绍了Reviewer2的数据集来源和评估方法，以及同行评审数据集PeerRead的两个工作及对审稿GPT的启发。
🎯
关键要点
- 本文介绍了康奈尔大学的论文审稿模型Reviewer2的原理和实现。
- Reviewer2通过PGE方法从人工review中生成预设问题数据。
- 模型训练基于不同论文生成不同的预设问题。
- Reviewer2的数据集来源于多个会议，包括PeerRead、CONLL-16、ACL-17等。
- PGE流程包括生成步骤和评估步骤，旨在生成高质量的review prompt。
- 生成的prompt通过人工评估和机器学习相结合的方式进行评分。
- 我司七月审稿项目组决定自行实现Reviewer2的工作。
- 通过PGE方法生成大量的review-prompt数据，并进行人工打分。
- PeerRead数据集的两个主要工作是预测论文是否能被接受和根据review给论文打分。
- PeerRead的工作为我司审稿GPT提供了重要的启发，尤其是在数据微调和评分模型方面。
❓
延伸问答
Reviewer2模型的主要原理是什么？
Reviewer2模型通过PGE方法从人工review中生成预设问题数据，并训练模型根据不同论文提出不同的预设问题。
PeerRead数据集的主要功能是什么？
PeerRead数据集主要用于预测论文是否能被接受，以及根据review给论文打分。
如何评估Reviewer2生成的prompt质量？
Reviewer2通过人工评估和机器学习相结合的方式，对生成的prompt进行评分，使用5分制进行评估。
我司如何实现Reviewer2的工作？
我司通过人工生成种子数据集，然后使用PGE方法扩展更多的review-prompt数据，最终训练模型生成review。
PGE方法的具体流程是什么？
PGE方法包括生成步骤和评估步骤，目标是在上下文数百个review-prompt的示例下生成一组review的prompt。
Reviewer2的数据集来源于哪些会议？
Reviewer2的数据集来源于多个会议，包括PeerRead、CONLL-16、ACL-17等。
➡️
