结构之法算法之道 ·

七月论文审稿GPT第2版：用一万多条paper-review数据集微调LLaMA2 7B最终反超GPT4

💡 原文中文，约2600字，阅读约需7分钟。

📝

内容提要

本文介绍了GPT源码解读与微调的第四部分，主要讲述了第二版数据处理的优化，包括PDF数据的解析、借鉴GPT4审稿的思路和模型本身的优化。介绍了Meta推出的学术PDF解析工具nougat和斯坦福让GPT4首次当论文的审稿人的案例。提到了mistral和longlora等模型的优化。

🏷️

“谷歌仅领先几小时”：Muse Spark 1.3 超越 Gemini，Meta 宣称其最大编码飞跃
Meta发布Muse Spark 1.3推理模型，宣称在编码和智能体任务上进步最大，性能接近前沿且成本极低。该模型在基准测试中超越GPT-5.6和Clau...
早报｜全球主流AI集体宕机/GPT-6 Astra正式发布，AGI已来/微信回应「单删提示」
OpenAI发布GPT-6 Astra，支持复杂工作流；ChatGPT等AI服务曾集体故障。英伟达收购Hugging Face，微信回应单删提示，天猫上线...
刚刚，GPT-6 震撼发布！人类进入 AGI 大分工时代
OpenAI发布GPT-6 Astra，称其为最智能、最符合人类意图的模型，具备强大计算机操作能力，可独立完成复杂任务。它在软件工程、科学研究和网络安全等...
新版GPT Image 2.5已经能伪造GPT-6发布会了
文章报道了OpenAI新版生图模型GPT Image 2.5的泄露信息。该模型尚未正式发布，但已通过弹窗提示出现，版本号高于预期。测试显示其能逼真伪造GP...
刚刚，GPT-6正式发布！OpenAI：欢迎来到AGI时代
OpenAI发布GPT-6 Astra及Pro版，宣称开启AGI时代。该模型能操作电脑和浏览器完成多步骤任务，在数学、编程、网络安全等测试中表现卓越，如A...
OpenAI发布GPT-6 Astra：称可能代表AGI
OpenAI发布GPT-6 Astra，在ARC-AGI-3基准测试中获99.9%高分，但该成绩依赖优化测试工具，标准工具下仅62.7%。模型在网络安全上...