本研究提出派生熵率，解决小语料库中语法结构多样性估计的问题，揭示发话平均长度与语法复杂性之间的关系，对自然语言处理和人类语言处理具有重要意义。

本文探讨了根据自由能原理（FEP）理解自然语言语法的想法，通过降低内部表征的复杂性来匹配感官输入，减少意外性。作者使用柯尔莫哥洛夫复杂性和图灵-乔姆斯基压缩评估语法复杂性，并提出了TCC原则，鼓励生成高效压缩的语法结构。通过Lempel-Ziv算法评估语法结构的复杂性，文章将自然语言的语法结构与FEP联系起来，提出了最小化认知和计算复杂度的原则。