极道
·
自然语言语法符合热力学自由能原则
💡
原文中文，约1800字，阅读约需5分钟。
📝
内容提要
本文探讨了根据自由能原理（FEP）理解自然语言语法的想法，通过降低内部表征的复杂性来匹配感官输入，减少意外性。作者使用柯尔莫哥洛夫复杂性和图灵-乔姆斯基压缩评估语法复杂性，并提出了TCC原则，鼓励生成高效压缩的语法结构。通过Lempel-Ziv算法评估语法结构的复杂性，文章将自然语言的语法结构与FEP联系起来，提出了最小化认知和计算复杂度的原则。
🎯
关键要点
- 本文探讨了根据自由能原理（FEP）理解自然语言语法的结构和规则。
- 自由能原理（FEP）表明生物系统通过降低内部表征的复杂性来匹配感官输入，减少意外性。
- 自然语言语法的层次结构符合FEP，构建句子的方式可以视为最小化计算复杂性。
- 语言设计中的经济性是指语言结构形成尽可能高效的原则，与自由能的最小化有关。
- 柯尔莫哥洛夫复杂性用于估计句法过程的复杂性，建议优先考虑减少算法复杂性的语法操作。
- 图灵-乔姆斯基压缩（TCC）是一种与FEP一致的语言设计原则，鼓励生成高效压缩的语法结构。
- 句法移动和最小搜索可以用FEP理解，涉及句法结构的有效计算。
- 未来研究方向包括更广泛的计算模型和探索与语法相关的FEP。
- Kolmogorov复杂度衡量模式或数据复杂性，倾向于最小化以减少认知处理的计算负担。
- TCC原则认为在语法工作空间中执行的操作应生成Kolmogorov复杂度低的结构，鼓励高效压缩的语法结构。
- 文章通过Lempel-Ziv算法评估不同语法结构的复杂性，展示更经济的语法结构的优势。
➡️
