最优码字长度
原文英文，约1200词，阅读约需5分钟。
📝
内容提要
在无损数据压缩中，我们希望使用尽可能少的比特来编码数据，并且能够无歧义地解码数据。本文将讨论如何理解香农熵对于信息论中最优码字长度的含义，而不涉及严格的数学推导和证明。
🔎
延伸解读
香农熵作为下界的实际意义
香农源编码定理指出，最优期望码字长度不会小于香农熵，且两者之差小于1比特。这意味着熵给出了压缩效率的理论极限，实际编码的期望长度最多比熵多不到1比特。因此，在评估压缩算法时，可以将熵作为基准，若期望长度接近熵，则说明编码效率较高。
概率分布如何影响码字分配
当各码字概率相同时，任意分配长短码字对期望长度无影响；但概率不同时，高概率码字应分配较短码字，低概率码字分配较长码字，以最小化期望长度。例如，概率为1/2、1/4、1/4的三个码字，分别用1、2、2比特编码，期望长度为5/4比特，恰好等于熵。这体现了按概率分配码字长度的直观原则。
哈夫曼编码的角色
文章指出，构造最小化期望码字长度的编码方法是哈夫曼编码。这意味着在实际应用中，哈夫曼编码能够根据符号概率生成最优前缀码，使期望码字长度达到或接近香农熵下界。读者可以理解，哈夫曼编码是实现香农源编码定理所描述极限的一种具体算法。
❓
Q&A
什么是最优码字长度？
最优码字长度是指编码数据时所用的比特数，旨在最小化期望码字长度。
香农熵在数据压缩中有什么重要意义？
香农熵是信息内容的期望值，影响最优码字长度的理解，是最优期望码字长度的下界。
如何计算期望码字长度？
期望码字长度通过将每个码字的概率与其对应的比特长度相乘并求和来计算。
在概率相同的情况下，如何分配码字的比特数？
在概率相同的情况下，任意分配码字的比特数都能得到相同的最优期望码字长度。
哈夫曼编码如何帮助最小化期望码字长度？
哈夫曼编码是一种构造编码的方法，可以有效地最小化期望码字长度。
如果码字数量不是2的幂，应该如何编码？
可以使用少于n比特编码某些码字，以最小化期望码字长度，具体分配取决于码字的概率。
🏷️
