.tex | 比较两个概率分布/两条信息
内容提要
本文讨论了信息和概率的关系，介绍了信息论中的自信息、信息熵、相对熵和互信息等概念，以及与之相关的Python函数。最后，通过阿提拉和狄奥多里克的故事，说明了算命的魅力和信息熵的差价。
延伸解读
信息论核心概念：从自信息到互信息
文章系统介绍了信息论中几个关键概念：自信息衡量单个事件的信息量，信息熵是自信息的期望，反映随机变量的整体不确定性；相对熵（KL散度）和交叉熵用于比较两个概率分布的差异，互信息则衡量两个随机变量之间的共享信息。这些概念在机器学习中广泛应用，如PyTorch的损失函数。理解它们有助于把握信息论在数据压缩、模型评估等领域的应用。
KL散度与交叉熵的数值计算与注意事项
文章通过Python代码示例展示了KL散度和交叉熵的计算，并指出当概率为零时会出现发散问题，通常用eps截断处理。KL散度不对称，且对角线为零；交叉熵对角线为信息熵。实际应用中需注意这些性质，避免误用。此外，PyTorch中的KLDivLoss和CrossEntropyLoss有特定输入要求，如是否需logit，使用前应仔细阅读文档。
信息熵与热力学熵的联系
文章提到玻尔兹曼墓志铭上的公式S = k log W，指出热力学熵与信息熵只相差一个玻尔兹曼常数。这是因为信息熵无量纲，而热力学熵需与温度相乘得到能量量纲。在正则系综和巨正则系综中，熵也是各状态概率分布的信息熵乘以玻尔兹曼常数。这揭示了信息论与统计物理的深刻联系。
算命中的信息熵差价：低自信息命题的误导
文章用阿提拉和狄奥多里克的故事说明算命的魅力：用低自信息的模糊命题（如“一位国王将战死，一个国家将崩塌”）误导对方相信高自信息的特定结论，从而赚取信息熵差价。这种文字游戏利用了概率分布的不确定性，实际预言可能只是宽泛陈述，却让人误以为精准。这提醒我们，面对模糊信息时需警惕其背后的概率本质。
Q&A
自信息的定义是什么？
自信息是针对一个随机变量的某个可能取值而言的信息量，表示信息的最小单位。
信息熵在信息论中有什么意义？
信息熵表示一个随机变量概率分布的整体性质，反映了信息量的期望。
相对熵和互信息有什么区别？
相对熵描述两个概率分布之间的信息量差异，而互信息衡量两个随机变量之间的信息共享程度。
如何计算交叉熵？
交叉熵计算时，使用正确概率分布p和预测概率分布q，公式为负的概率加权对数和。
算命与信息熵有什么关系？
算命利用低自信息的命题误导他人，从而赚取信息熵的差价。
在PyTorch中有哪些与信息论相关的损失函数？
PyTorch中相关的损失函数包括KLDivLoss、CrossEntropyLoss和BCELoss等。
