ChatGPT大概工作原理 - by Alex Xu
原文约700字，阅读约需2分钟。发表于：。由于OpenAI没有提供所有的细节，我们试图解释它是如何工作的。这个过程可以分成两部分： 1、训练： 要训练ChatGPT模型，有两个阶段： - 预训练。在这个阶段，我们在一大块互联网数据上训练一个GPT模型（仅有解码器的转化器）。目的是训练一个模型，能够以类似于互联网数据的语法正确和语义的方式预测给定句子的未来单词。在预训练阶段之后，该模型可以完成给定的句子，但它不能够回答问题。 - 微调。这个阶段是一个3个步骤的过程，将预训练的模型变成一个回答问题的ChatGPT模型。 1).收集训练数据（问题和答案），并在这些数据上微调预训练的模型。该模型将一个问题作为输入，并学习生..
OpenAI没有提供所有细节，我们试图解释它的工作原理，分为训练和回答问题两部分。训练分为预训练和微调，微调包括收集训练数据、收集更多数据、使用强化学习微调模型。回答问题分为7步，包括内容审核、chatGPT模型、内容审核、模板响应生成等。OpenAI试图让ChatGPT模型能够准确回答问题。
