.tex | 比较两个概率分布/两条信息
💡
原文中文，约5400字，阅读约需13分钟。
📝
内容提要
本文讨论了信息和概率的关系，介绍了信息论中的自信息、信息熵、相对熵和互信息等概念，以及与之相关的Python函数。最后，通过阿提拉和狄奥多里克的故事，说明了算命的魅力和信息熵的差价。
🎯
关键要点
- 信息由命题表达，解答人心疑问，涉及概率论。
- 自信息是随机事件的性质，表示信息量的最小单位。
- 信息熵是随机变量概率分布的整体性质，表示信息量的期望。
- 相对熵描述两个概率分布之间的信息量差异。
- 交叉熵描述在给定正确概率分布下，使用其他概率分布提问所需的总单选题数。
- 互信息衡量两个随机变量之间的信息共享程度。
- PyTorch中有相关的损失函数，如KLDivLoss和CrossEntropyLoss。
- 算命的魅力在于用低自信息的命题误导他人，赚取信息熵差价。
❓
延伸问答
自信息的定义是什么？
自信息是针对一个随机变量的某个可能取值而言的信息量，表示信息的最小单位。
信息熵在信息论中有什么意义？
信息熵表示一个随机变量概率分布的整体性质，反映了信息量的期望。
相对熵和互信息有什么区别？
相对熵描述两个概率分布之间的信息量差异，而互信息衡量两个随机变量之间的信息共享程度。
如何计算交叉熵？
交叉熵计算时，使用正确概率分布p和预测概率分布q，公式为负的概率加权对数和。
算命与信息熵有什么关系？
算命利用低自信息的命题误导他人，从而赚取信息熵的差价。
在PyTorch中有哪些与信息论相关的损失函数？
PyTorch中相关的损失函数包括KLDivLoss、CrossEntropyLoss和BCELoss等。
➡️
