极道
·
大模型训练是在挖“结构信息”，新尺子把信息论脸打肿了
原文中文，约2400字，阅读约需6分钟。
📝
内容提要
很少有概念像智能一样被如此多的学科所引用，也很少有概念像智能一样被以如此多互不相容的方式进行理论阐释。 对统计学和机器学习而言，智能是数据的极端压缩；对复杂系统研究而言，智能是通用计算的涌现；在智能体与其环境的交互中，智能是开放式的自适应行为。 每一种表现形式都有其自身的文献和目标函数，而这些文献之间鲜有交集。 本文表明，所有这些表现形式都源于一个单一的原则：追求可学习的新颖性。 这份新鲜出炉的学
🏷️
