小猫都能懂的大模型原理 2 - 初见大语言模型
💡
原文中文，约1900字，阅读约需5分钟。
📝
内容提要
人们越来越倾向于使用ChatGPT而非搜索引擎。GPT是生成式预训练Transformer，基于自注意力机制的深度学习架构。通过大量文本数据训练，模型能够流畅生成语言并理解多种语言的翻译。输入输出基于Token，模型通过神经网络预测下一个Token的概率，最终生成完整句子。
🎯
关键要点
- 人们倾向于使用ChatGPT而非搜索引擎。
- GPT是生成式预训练Transformer，基于自注意力机制的深度学习架构。
- Transformer架构源于论文《Attention Is All You Need》。
- Transformer的核心是自注意力机制。
- 神经网络通过调整权重来输出正确答案。
- 大语言模型经过大量文本数据训练，能够流畅生成语言。
- 大模型可以回答未见过的内容，这称为涌现。
- 输入输出本质上是Token，Token可以是字母、单词或符号的组合。
- 词嵌入将文字转换为向量，GPT-2和GPT-3的嵌入维度分别为768和12288。
- 输入输出的实际过程涉及将Token转换为高维向量。
- 神经网络预测下一个Token的概率，并选择概率最高的输出。
- 生成完整句子需要循环生成新Token。
➡️
