内容提要
文章阐述信息熵与交叉熵损失如何连接信息论与大语言模型训练:熵衡量概率分布的不确定性,分布越均匀熵越高,越集中熵越低;大语言模型逐词预测下一词,训练时以交叉熵损失比较模型预测分布与真实目标分布,最小化该损失即促使模型对正确词更有信心。文中用含五个词的词表及三种模型预测(自信且正确、自信但错误、完全不确定)在Python中计算并可视化熵与交叉熵,说明训练同时降低不确定性与错误预测。
延伸解读
熵与交叉熵:衡量不确定性与预测误差
文章用公平骰子和加权骰子说明熵衡量分布的不确定性:均匀分布熵最高,越集中熵越低。在大语言模型中,模型对下一个词的预测分布若接近均匀,则熵高;若高度自信于某个词,则熵低。交叉熵则比较模型预测分布与真实分布(one-hot)的差异,最小化交叉熵即促使模型对正确词更有信心。两者结合,训练同时降低不确定性和错误预测。
三种预测场景的对比:自信正确、自信错误与完全不确定
文章用五词词表(目标词为“cat”)构造三种模型输出:自信且正确(0.90概率给cat)、自信但错误(0.80概率给apple)、完全不确定(均匀分布0.20)。计算显示,自信正确模型熵和交叉熵都低;自信错误模型熵低但交叉熵极高;完全不确定模型熵最高但交叉熵低于自信错误模型。这说明交叉熵能同时惩罚高不确定性和错误自信。
训练中最小化交叉熵的双重作用
文章指出,最小化交叉熵损失等价于迫使模型将置信度逐渐移向正确词。这同时处理了两种不良状态:高不确定性(分布过于平坦)和错误预测(对错误词过度自信)。通过海量训练样本迭代,模型学会逐词生成合理文本。该机制是GPT、Llama等大模型训练的核心,文章用轻量Python示例直观展示了其计算与可视化。
Q&A
信息熵是什么?它如何衡量不确定性?
信息熵由Claude Shannon于1948年提出,是概率分布中不确定性或“惊讶”程度的数学度量。熵越高,分布越均匀,不确定性越大;熵越低,分布越集中,不确定性越小。例如,公平骰子每个面概率相等,熵最大;而灌铅骰子偏向6点,熵较低。
交叉熵损失在大语言模型训练中起什么作用?
交叉熵损失是指导大语言模型训练的目标函数,用于衡量模型预测的下一个词分布与真实分布之间的差异。训练时通过最小化交叉熵损失,促使模型对正确词赋予更高概率,从而逐步降低预测的不确定性并减少错误。
大语言模型如何逐词预测下一个词?
大语言模型在生成文本时,不是一次性输出整个文本,而是迭代地“猜测下一个词”。在每一轮,模型顶层会考虑整个词表(通常数万个词),为每个可能的下一个词分配概率,形成概率分布,然后根据该分布生成下一个词。
在语言模型中,高熵和低熵分别对应什么情况?
高熵对应模型对下一个词不确定,概率分布分散、接近均匀;低熵对应模型高度自信,某个词概率很高而其他词接近零。例如,模型不确定时分布平坦,熵高;模型确信“tatami”时分布尖锐,熵低。
如何用Python计算并可视化信息熵和交叉熵?
文章提供了一个轻量级Python示例:使用numpy定义香农熵函数(-sum(p*log2(p)))和交叉熵函数(-sum(true*log2(pred))),并用plotly创建三个子图,分别展示“自信且正确”、“自信但错误”、“完全不确定”三种模型预测的熵与交叉熵值,以交互式条形图可视化。
为什么交叉熵损失能同时处理高不确定性和错误预测?
交叉熵损失衡量预测分布与真实分布的差异。对于完全不确定的模型(高熵),交叉熵较高;对于自信但错误的模型,交叉熵也极高。最小化交叉熵会同时惩罚高不确定性和错误预测,促使模型既降低不确定性又提高正确词的置信度。