极道
·
ChatGPT大概工作原理 - by Alex Xu
💡
原文中文，约700字，阅读约需2分钟。
📝
内容提要
OpenAI没有提供所有细节，我们试图解释它的工作原理，分为训练和回答问题两部分。训练分为预训练和微调，微调包括收集训练数据、收集更多数据、使用强化学习微调模型。回答问题分为7步，包括内容审核、chatGPT模型、内容审核、模板响应生成等。OpenAI试图让ChatGPT模型能够准确回答问题。
🎯
关键要点
- OpenAI没有提供所有细节，工作原理分为训练和回答问题两部分。
- 训练分为预训练和微调两个阶段。
- 预训练阶段使用互联网数据训练GPT模型，目的是预测句子的未来单词。
- 微调阶段包括收集训练数据、收集更多数据和使用强化学习微调模型。
- 回答问题的过程分为7步，包括用户输入、内容审核、模型生成响应和再次审核。
- 内容审核确保问题和响应不违反安全准则。
- 如果输入通过审核，响应将显示给用户；否则，显示模板答案。
🏷️
标签
➡️
