GPT-4 新的超能力
内容提要
OpenAI 发布了 GPT-4，显著提升了模型能力，包括更长的背景支持和多模态处理。GPT-4 在各种考试中表现优异，尤其在律师资格考试中位于前10%。其推理能力和多语言处理能力也有显著提升。通过强化学习与人类反馈，模型的安全性和可靠性得到改善，但仍存在幻觉现象。整体而言，GPT-4 在准确性和用户意图理解上表现更佳。
延伸解读
可预测扩展：GPT-4 训练的核心方法
文章指出，GPT-4 项目的一个重要关注点是构建可预测扩展的深度学习技术栈。由于 GPT-4 训练量巨大，无法直接在大模型上做调优尝试，OpenAI 开发了基础设施和优化方法，用计算量少 1000 到 10000 倍的小模型来预测大模型的性能。例如，小模型的 loss 值可以准确预测 GPT-4 的 loss 值，在 HumanEval 数据集上的 pass rate 也能较准预测。这种方法提高了训练效率，是 GPT-4 成功的关键之一。
RLHF 的双面影响：安全提升与校准性下降
文章提到，通过 RLHF 训练，GPT-4 在安全性和可靠性上有所改善，例如减少了幻觉现象，并在 TruthfulQA 任务上比 GPT-3.5 有大幅改进。但 RLHF 也带来副作用：经过 post-training PPO 过程后，模型的校准性降低了，即模型对错误答案可能过于自信。预训练模型原本具有较高的校准性，但 RLHF 后校准性下降。这表明在提升模型安全性的同时，也需要关注其置信度校准问题。
多模态能力：读图与 OCR 的突破
GPT-4 具备多模态能力，能够处理图像输入。文章显示，GPT-4 不仅能理解图表内容，还能精确识别数字和单位，并给出推理步骤。在 VQA、ChartQA、DocVQA 等任务上表现优秀，OCR 能力很强，可轻松识别手写文字。不过，文章也指出视觉能力带来的提升在考试任务中很少，且该功能尚未开放。这提示读者，多模态是 GPT-4 的重要方向，但当前应用仍有限。
安全风险与缓解措施
文章指出，GPT-4 仍存在安全风险，例如可能被越狱，或在面对不安全输入时产生不良内容。OpenAI 通过加入额外的安全奖励信号（由 GPT-4 零样本分类器提供）和准备安全相关的训练提示来微调模型。与 GPT-3.5 相比，GPT-4 降低了 82% 的响应禁止内容请求的倾向，并更频繁地按政策回应敏感请求。但模型在安全输入上也可能过于谨慎，拒绝无害请求。这些措施改善了安全性，但风险并未完全消除。
Q&A
GPT-4相比于GPT-3.5有哪些显著的能力提升？
GPT-4在推理能力、多语言处理、考试表现等方面显著提升，尤其在律师资格考试中位于前10%。
GPT-4是如何改善安全性和可靠性的？
GPT-4通过强化学习与人类反馈（RLHF）来改善安全性和可靠性，但仍存在幻觉现象。
GPT-4在多模态处理方面表现如何？
GPT-4具备强大的多模态处理能力，能够处理视觉问答（VQA）和OCR任务。
GPT-4在考试中的表现如何？
GPT-4在各种考试中表现优异，特别是在律师资格考试中，成绩位于前10%。
GPT-4的推理能力有哪些具体提升？
GPT-4在复杂推理任务和少样本学习任务上表现出显著的推理能力提升。
GPT-4的幻觉现象相比于之前的模型有何变化？
虽然GPT-4仍然会产生幻觉现象，但相比于GPT-3.5，幻觉现象有所减轻。
