关于大模型你需要知道的
内容提要
本文讨论了大语言模型（如ChatGPT）与传统预训练模型的区别，强调大模型因其庞大的参数和数据量，能够处理多任务并具备推理能力。同时介绍了神经网络的基本原理，包括神经元、权重和激活函数的作用，以及如何通过调整权重来优化模型的学习和识别能力。
延伸解读
从功能机到智能机：大模型为何能“举一反三”
文章用“功能机”比喻传统预训练模型，只能处理单类问题；而大模型像智能机，能处理多种任务。关键差异在于传统模型依赖人工标注数据，效率低且泛化差；大模型通过无监督学习实现自我标注，加上训练数据广泛、参数量巨大，因此具备推理和举一反三的能力。这解释了为何大模型能走出实验室，引发大众关注。
参数不是长度，而是神经元的“连接强度”
常听到模型有70亿、130亿参数，这里的参数并非指模型能处理多长的输入，而是神经网络中权重的数量。权重决定了上一层神经元输出对下一层的影响程度，通过加权求和、加偏置和激活函数，完成信息传递。参数越多，意味着网络有更多神经元和连接，能学习更复杂的特征组合，但同时也需要更多计算资源。
权重如何让神经网络学会“看边缘”
文章以图像识别为例：若某神经元负责检测垂直边缘，训练会调整其连接权重，使它对垂直边缘片段响应最大。权重的作用包括放大或缩小输入信号、影响神经元激活程度、学习特征组合。通过反向传播不断调整权重，网络能最小化预测误差，从而适应不同任务。这揭示了参数学习的本质：找到最佳特征组合方式。
神经元连接并非全连接，架构决定信息流动
神经元之间如何连接取决于网络架构、连接模式和权重分配。全连接网络中，上一层每个神经元都与下一层所有神经元相连；而卷积网络采用局部连接，只与局部区域相连。权重初始值在训练中根据损失函数和反向传播调整，甚至决定某些连接是否断连。因此，模型参数大往往意味着更多层和每层更多神经元，但连接方式同样关键。
Q&A
大语言模型与传统预训练模型有什么区别？
大语言模型参数量和训练数据量更大，能够处理多任务，而传统预训练模型通常只能处理单类问题。
神经网络的基本组成是什么？
神经网络由多个神经元组成，神经元通过连接传递信息，信息传递遵循一定规则。
权重在神经网络中起什么作用？
权重决定了输入信号的放大或缩小，影响神经元的激活程度和特征组合的学习。
大语言模型如何实现自我标注？
大语言模型通过无监督学习实现自我标注，能够处理多种任务并具备推理能力。
神经元之间的连接方式是如何决定的？
神经元之间的连接方式取决于网络架构、连接模式和权重分配等因素。
大语言模型需要哪些计算资源？
大语言模型的预训练需要大量的计算资源来支撑其训练和推理。
