.tex | 比较两个概率分布/两条信息
💡
原文中文，约5400字，阅读约需13分钟。
📝
内容提要
本文讨论了信息和概率的关系，介绍了信息论中的自信息、信息熵、相对熵和互信息等概念，以及与之相关的Python函数。最后，通过阿提拉和狄奥多里克的故事，说明了算命的魅力和信息熵的差价。
🎯
关键要点
- 信息由命题表达，解答人心疑问，涉及概率论。
- 自信息是随机事件的性质，表示信息量的最小单位。
- 信息熵是随机变量概率分布的整体性质，表示信息量的期望。
- 相对熵描述两个概率分布之间的信息量差异。
- 交叉熵描述在给定正确概率分布下，使用其他概率分布提问所需的总单选题数。
- 互信息衡量两个随机变量之间的信息共享程度。
- PyTorch中有相关的损失函数，如KLDivLoss和CrossEntropyLoss。
- 算命的魅力在于用低自信息的命题误导他人，赚取信息熵差价。
➡️
