生物学家迈克尔·莱文挑战传统信息论，认为生命行为由内部“动机”驱动，而非外部信息。通过双头蝌蚪和涡虫实验，他展示目标状态的可塑性，动机是自生成的动态模式，不可简单量化。此观点或改写生物学与AI理论，强调内在“想要”才是行为核心。

香农信息论被视为AI的底层逻辑，大模型本质上是数据压缩器，其压缩能力与智能正相关；扩散模型通过去噪测量互信息；自由能原理驱动智能体探索。然而，批评者指出该理论忽视了记忆、深度、因果与意义。香农理论是智能的基础，但并非全部，意义问题仍未解决。

该论文提出“结构信息”新概念，挑战传统信息论，认为AI训练中大量数据是随机噪声，真正有用的是可拆解重组的结构信息。研究发现，数据顺序影响模型学习能力，简单规则可涌现复杂行为，文本数据的结构信息含量高于图像。这为数据选择提供理论依据，强调追求可学习的新颖性，而非盲目追求低损失。

研究人员利用香农熵破解Wordle游戏，提出通过选择信息量大的词来提高猜测成功率。与传统玩家倾向于猜常见字母词不同，研究者选择冷门字母词以获取更多信息。模拟结果显示，熵策略的成功率达到99%，显著优于传统策略的90%。该研究强调了信息论在日常决策中的应用，及通过最大化信息增益降低不确定性的重要性。

本文探讨了信息论中的熵与压缩的关系，提出“压缩即智能”的观点。通过机器人搬砖的例子，说明如何利用概率优化指令编码以实现信息压缩的极限。训练AI模型的目标是提高预测准确性，降低交叉熵，从而实现更高效的文本压缩。

大模型的损失函数主要是交叉熵，通过量化模型输出与预期的差距来评估性能。交叉熵与负对数似然（NLL）密切相关，都是衡量预测准确性的工具。训练目标是最小化损失值，以提高预测准确性。交叉熵从信息论角度评估模型分布与真实分布的一致性，确保模型能准确预测下一个词元。

抱歉，提供的文本内容不足以进行总结。请提供更详细的文章内容。

本文推荐了十本被低估的机器学习书籍，强调它们在理解算法原理方面的重要性。这些书籍涵盖贝叶斯方法、统计学习和信息论等内容，适合希望深入掌握机器学习的读者。每本书都有独特的视角和实用性，能帮助提升实践能力和理论基础。

AIxiv专栏探讨了大语言模型（LLMs）推理能力的提升。研究表明，延长推理时间能显著提高推理质量。外部慢思考方法通过增加推理步骤来减少错误，但面临理论支持不足和计算资源需求高的挑战。研究者提出基于信息论的框架，分析雪球误差与推理错误的关系，为推理能力优化提供新方向。

AIxiv专栏促进学术交流，报道超过2000篇研究内容。研究团队提出新算法UNICORN，基于信息论，解决离线元强化学习中的任务表示学习问题，提升AI决策能力，助力药物发现等领域。