大语言模型（LLM）到底是怎么运作的？（配图通俗讲解）
💡
原文中文，约1200字，阅读约需3分钟。
📝
内容提要
条件概率是指在已知某事件发生的情况下，另一个事件发生的概率。大语言模型（LLM）通过学习单词序列的条件概率来预测下一个单词，并通过温度调节生成内容的多样性与创造性。
🎯
关键要点
- 条件概率是指在已知某事件发生的情况下，另一个事件发生的概率。
- 大语言模型（LLM）通过学习单词序列的条件概率来预测下一个单词。
- 条件概率可以用P(A|B)表示，表示在B发生的条件下，A发生的概率。
- 预测下一个单词时，模型计算所有可能单词在给定上下文条件下的条件概率。
- 大语言模型学习的是高维单词序列的概率分布，训练过程是有监督的。
- 直接选择概率最高的单词会导致输出内容重复和单调。
- 温度（Temperature）用于调节生成内容的多样性与创造性。
- 温度值影响概率分布的调整，低温度输出更确定的结果，高温度输出更随机和多样化。
❓
延伸问答
大语言模型是如何预测下一个单词的？
大语言模型通过计算已知上下文中所有可能单词的条件概率，选择概率最高的单词作为预测结果。
什么是条件概率？
条件概率是指在已知某事件发生的情况下，另一个事件发生的概率，通常表示为P(A|B)。
温度在大语言模型中有什么作用？
温度用于调节生成内容的多样性与创造性，低温度输出更确定的结果，高温度则输出更随机和多样化的内容。
大语言模型的训练过程是怎样的？
大语言模型的训练过程是有监督的，主要是学习高维单词序列的概率分布。
选择概率最高的单词有什么问题？
直接选择概率最高的单词会导致输出内容重复和单调，缺乏创意。
如何理解大语言模型的抽样过程？
大语言模型并不是简单选择得分最高的单词，而是从概率分布中随机抽样，温度值影响抽样的结果。
➡️
