机器学习面试题 7：熵是为消除不确定性所需要获得的信息量，投掷均匀正六面体骰子的熵是
原文中文，约1200字，阅读约需3分钟。
📝
内容提要
熵是衡量消除不确定性所需信息量的指标，事件概率越小，信息量越大。投掷均匀正六面体骰子有6种等概率状态，其熵约为2.6比特，高于硬币的1比特。熵在概率均等时最大，某状态概率为1时熵为0。
🔎
延伸解读
熵的直觉理解
熵衡量的是不确定性，事件越不确定，消除不确定性所需的信息量越大。均匀骰子有6种等可能结果，不确定性高于硬币的2种结果，因此熵更大（约2.6比特 vs 1比特）。这解释了为什么预测骰子结果比预测硬币更难。
熵的极值性质
熵在概率分布均匀时达到最大值，即所有状态等可能时不确定性最大。当某个状态概率为1时，熵为0，因为结果完全确定。这一性质在机器学习中常用于特征选择或决策树分裂，熵越小表示数据越纯。
❓
Q&A
熵在信息论中是如何定义的？
熵是衡量消除不确定性所需信息量的指标，事件概率越小，信息量越大。
投掷一枚均匀硬币的熵是多少？
投掷均匀硬币的熵约为1比特。
投掷均匀正六面体骰子的熵是多少？
投掷均匀正六面体骰子的熵约为2.6比特。
为什么骰子的熵比硬币的熵大？
因为骰子有6种等概率状态，而硬币只有2种，状态越多，不确定性越大，熵也越大。
熵在什么情况下最大？
当所有状态等概率出现时，熵最大，最大值为log n（n为状态数）。
熵在什么情况下为0？
当某个状态概率为1，其余状态概率为0时，熵为0。
🏷️
