提升大模型数据质量的三大要素：找到早期paper且基于GPT摘要出来7方面review——七月论文审稿GPT第4.5/4.6/4.8版
内容提要
讨论大模型项目团队的工作流程和目标，包括微调模型、优化摘要prompt和增强review特异性。介绍了爬取论文早期版本和康奈尔大学的审稿模型Reviewer2和PeerRead项目。
延伸解读
数据质量提升的两个具体方向
文章指出，提升审稿模型效果的关键在于数据质量，具体从两方面入手：一是优化摘要prompt，让GPT对多篇review做多聚一摘要时能提炼出更高质量的要点；二是爬取论文早期版本，使review与论文版本匹配度更高。这两个方向都旨在让训练数据更接近真实审稿场景，从而提升微调后模型的审稿能力。
摘要prompt优化的思路与目标
旧prompt仅包含重要性、接收原因、拒绝原因和改进建议四个点，较为简单。新prompt扩展为七个方面，包括评估论文想法、与先前工作的本质区别、实验评估、接收/拒绝原因、改进建议及其他重要评论。其核心目标是让模型不断逼近顶会审稿人的视角，能一针见血指出论文的问题与闪光点，从而辅助作者修订论文。
论文早期版本爬取的意义
此前团队面临一个困扰：review是旧的，但论文是新版，导致两者不匹配。后来发现可以爬取review对应的论文早期版本，从而解决审稿项目的一个大问题。因为只有拿到论文最早的审稿版本，review与论文的匹配程度才能达到100%，这对训练数据的质量至关重要。
Reviewer2与PeerRead的参考价值
康奈尔大学的Reviewer2模型采用PGE方法，先用人工review生成预设问题，再训练模型根据论文生成问题，最后结合问题和论文生成review，强调提问的针对性。PeerRead项目则根据review为论文各方面打分，提供评判标准。这两个工作为审稿模型的数据构建和评估提供了可借鉴的思路。
Q&A
大模型项目团队的主要目标是什么？
大模型项目团队的主要目标是提升审稿效果和数据质量，确保模型能够准确提炼论文要点。
如何提高审稿的review质量？
提高审稿的review质量可以通过优化摘要prompt和爬取论文早期版本来实现，以确保review与论文的匹配度。
康奈尔大学的Reviewer2模型是如何工作的？
Reviewer2模型通过PGE方法从人工review中生成预设问题数据，训练模型以根据不同论文提出相应问题。
PeerRead项目的主要功能是什么？
PeerRead项目根据review为论文各方面打分，提供评判标准，以帮助评估论文质量。
团队如何微调模型以提升审稿效果？
团队通过微调多个模型，如RWKV、LLaMA2和GPT系列，利用大量的paper-review数据集来提升审稿效果。
提升数据质量的三大要素是什么？
提升数据质量的三大要素是优化摘要prompt、提高review质量和增强review特异性。
