译者序 本文翻译自 2022 年 OpenAI 的论文： Training language models to follow instructions with human feedback， 整理翻译了其中感兴趣的部分。 大模型进化树，可以看到 InstructGPT 所处的年代和位置。来自 大语言模型（LLM）综述与实用指南（Amazon，2023）。 GPT ->...

简记。

GPT系列是OpenAI的一系列预训练文章，GPT的全称是Generative Pre-Trained...

本篇ChatGPT笔记会全力做到，通俗易懂且循序渐进(尽最大努力让每一个初学者哪怕是文科生都能没有障碍的读懂每一字一句、每一个概念、每一个公式) 一方面，对于想了解ChatGPT背后原理和如何发展而来的，逐一阐述从GPT/GPT2/GPT3到强化学习、PPO算法，最后再到instructGPT、ChatGPT、SeqGAN 且本文之前，99%的文章都不会把PPO算法从头推到尾，本文会把PPO...

最近 ChatGPT 非常火，不过 OpenAI 还没公布它的论文，根据它的详情页面和介绍可以发现它是基于 InstructGPT 方案做的，我们可以先从 InstructGPT 入手看看它是如何通过学习人类喜好提升模型效果的。