1948年，Claude Shannon提出信息论，奠定了现代密码学的基础。他通过Shannon熵明确了完美保密的条件，指出一次一密是唯一的完美保密系统。尽管理论上安全，实际应用中密钥管理等问题使得现代密码学转向计算安全，追求在有限计算能力下的安全性。

我考虑使用Astro重构博客，但最终决定不折腾。虽然喜欢Spectre主题，还是为Lucy开了主页。Astro框架支持markdown，速度快。AI迅速发展，可能取代人类工作，巨头们只关心利润。

1998年，在亚马逊股东信里，贝佐斯写道：“我们要反抗熵增。”所谓熵增，是潜藏在物理世界的一个“魔鬼”。塞萨尔·伊达尔戈在《增长的本质》一书中提到，热力学第二定律表明，一个封闭系统里，熵值（混乱度）总是自发增加，系统从有秩序演变至无秩序。而要维持秩序、创造美好，就必须反抗这股强大的自然趋势。但，怎么反抗呢？28年过去了，我们从互联网到移动互联网，再到AI，时代在变，这个命题却没有。在现实世界...

研究团队提出了一种选择性熵正则化方法（SIREN），有效解决了大语言模型在RLVR训练中的“熵困境”。该方法通过限制探索范围、聚焦关键决策和稳定训练过程，精准调控探索行为，显著提升了模型在数学推理等任务上的表现。

数字化未能解决组织的熵增问题，冗余审批和孤岛系统导致效率下降，反而加剧了这一现象。真正的解决方案在于赋予流程自我演化能力，以适应业务变化。

机器之心数据服务现已上线，提供高效稳定的数据获取服务，帮助用户轻松获取所需数据。

该研究提出了一种快速熵近似（FEA）方法，显著降低了香农熵计算的成本和不稳定性。FEA的计算速度提高约50%，平均绝对误差为$10^{-3}$，在特征选择中表现出更高的效率和经济性。

本研究提出了一种新型生成对抗网络α-GAN，采用Rényi交叉熵作为损失函数，解决了传统GAN的收敛速度和梯度消失问题。研究表明，Rényi阶α在(0,1)范围内能有效加速收敛，推动GAN的发展。

本文关注现有有向图神经网络在数据使用上的不足，提出了一种新的基于熵驱动的有向图知识蒸馏方法（EDEN），致力于从数据中心的角度提升模型的编码能力。实验结果表明，EDEN在多种图数据集和下游任务中展现了最先进的性能，显著提高了已有模型的效果。

本研究探讨了变换器模型在压缩性能评估中的关键问题，尤其是在目标分布未知的情况下如何衡量模型的压缩效果。作者发现变换器倾向于偏好学习低熵分布，并且这种偏好在模型规模增大时更加明显，导致与目标分布的不完全对齐。此外，研究还指出FFN模块在这种偏好中的关键作用，并揭示了动态稀疏性对压缩过程的重要影响。