本文讨论了信息和概率的关系，介绍了信息论中的自信息、信息熵、相对熵和互信息等概念，以及与之相关的Python函数。最后，通过阿提拉和狄奥多里克的故事，说明了算命的魅力和信息熵的差价。

本研究使用自信息的倒数来衡量专利权要求的范围。通过考虑不同的语言模型，发现模型越复杂，结果越好。GPT2模型优于基于词和字符频率的模型。