小红花·文摘
  • 首页
  • 广场
  • 排行榜🏆
  • 直播
  • FAQ
Dify.AI
第十一届中国航空创新创业大赛报名开启|熵跃苍穹 无界新元

中国航空创新创业大赛CAIEC自2016年举办,专注航空全产业链。2026年赛事将全面升级,结合中国空天科技博览会,聚焦航空航天先进材料、智能制造和新型飞行器等领域。评审由权威专家组成,鼓励早报名,获奖项目可享受政策支持和投资基金,推动航空科技自立自强。

第十一届中国航空创新创业大赛报名开启|熵跃苍穹 无界新元

量子位
量子位 · 2026-07-09T09:48:29Z
时间是客观的?物理学家用两万个原子就搞出了时间

物理学家通过超冷铷原子实验发现,时间可能不是宇宙的基本属性,而是原子间互动的副产品。实验表明,时间可以通过熵的变化来定义,挑战了传统对时间的理解。提出的“涌现时间”理论暗示时间可能是系统内部互动的结果,而非绝对存在。

时间是客观的?物理学家用两万个原子就搞出了时间

极道
极道 · 2026-06-29T03:38:00Z
结构熵与语义熵的临界点一刀斩断AI幻觉、越狱、误拒三大顽疾

AI的幻觉、越狱和误拒问题源于结构熵与语义熵的失衡。维持临界点负零点零三的平衡是实现通用智能的关键。通过熵平衡训练法,可以提升AI的创新、准确性、泛化能力和自我校正能力。

结构熵与语义熵的临界点一刀斩断AI幻觉、越狱、误拒三大顽疾

极道
极道 · 2026-06-20T23:26:00Z
压缩就是智能:用初中数学语文解释什么是香农熵

本文探讨了信息论中的熵与压缩的关系,提出“压缩即智能”的观点。通过机器人搬砖的例子,说明如何利用概率优化指令编码以实现信息压缩的极限。训练AI模型的目标是提高预测准确性,降低交叉熵,从而实现更高效的文本压缩。

压缩就是智能:用初中数学语文解释什么是香农熵

极道
极道 · 2026-06-10T11:54:00Z

在去年的技术报告《Muon is Scalable for LLM Training》中,为了对比Muon与Adam所训练出来的模型的差异,我们引入了“奇异值熵”的概念,观察到Muon训练出来的...

矩阵参数的奇异值熵越高越好吗?

科学空间|Scientific Spaces
科学空间|Scientific Spaces · 2026-05-29T06:54:00Z

1948年,Claude Shannon提出信息论,奠定了现代密码学的基础。他通过Shannon熵明确了完美保密的条件,指出一次一密是唯一的完美保密系统。尽管理论上安全,实际应用中密钥管理等问题使得现代密码学转向计算安全,追求在有限计算能力下的安全性。

【密码学百科】信息论入门:熵、完美保密与 Shannon 定理

土法炼钢兴趣小组的博客
土法炼钢兴趣小组的博客 · 2026-04-04T00:00:00Z
Harness Engineering Skill:使用 Entrix 技能开始你的代码熵治理

Entrix是一种新工具,旨在解决代码熵治理问题。它将分散的质量规则整合为可执行和可视化的结构,帮助团队在开发过程中有效管理代码质量。通过可视化界面,团队可以直观了解治理重点和薄弱环节,从而将规则融入工作流程。

Harness Engineering Skill:使用 Entrix 技能开始你的代码熵治理

phodal
phodal · 2026-03-30T15:03:00Z
熵保持强化学习

本文探讨了强化学习中的熵保持问题,指出许多策略梯度算法在训练过程中自然降低熵,限制了探索能力。作者建议主动监控和控制熵,并提出了REPO和ADAPO等算法以调节熵,从而保持模型多样性,提高策略的性能和适应性。

熵保持强化学习

Apple Machine Learning Research
Apple Machine Learning Research · 2026-03-30T00:00:00Z
为什么大模型的损失函数是交叉熵

大模型的损失函数主要是交叉熵,它通过概率和信息理论衡量模型输出与真实结果的差距。模型的目标是预测下一个token,损失函数通过负对数似然最小化错误概率。交叉熵量化模型分布与真实分布的一致性,反映生成文本的准确性。

为什么大模型的损失函数是交叉熵

木鸟杂记
木鸟杂记 · 2026-03-29T07:31:35Z
大模型的损失函数为什么是交叉熵

大模型的损失函数主要是交叉熵,通过量化模型输出与预期的差距来评估性能。交叉熵与负对数似然(NLL)密切相关,都是衡量预测准确性的工具。训练目标是最小化损失值,以提高预测准确性。交叉熵从信息论角度评估模型分布与真实分布的一致性,确保模型能准确预测下一个词元。

大模型的损失函数为什么是交叉熵

木鸟杂记
木鸟杂记 · 2026-03-29T07:31:35Z

我考虑使用Astro重构博客,但最终决定不折腾。虽然喜欢Spectre主题,还是为Lucy开了主页。Astro框架支持markdown,速度快。AI迅速发展,可能取代人类工作,巨头们只关心利润。

熵增的Agent

碎言博客
碎言博客 · 2026-03-23T12:18:28Z
AI熵增,百度求解

文章探讨了人工智能市场的熵增现象,指出过度供给导致混乱。以刘美含为例,她在使用AI工具时遇到读音不一致的问题,反映出AI工具的局限性。百度通过将AI能力嵌入已有APP,尊重用户需求,减少熵增。文章强调开放生态和组织创新的重要性,认为企业需主动对抗熵增,以实现长期竞争力。

AI熵增,百度求解

TechWeb 全站精华
TechWeb 全站精华 · 2026-03-23T03:14:11Z
Entrix:我们如何用反熵机制治理 Vibe Coding

Entrix通过反熵机制治理Vibe Coding,强调在AI参与交付后,需明确完成条件和验证证据,避免依赖经验。关键在于将治理规则和证据记录在仓库中,以确保系统有效判断变更的安全性,提升整体可信度。

Entrix:我们如何用反熵机制治理 Vibe Coding

phodal
phodal · 2026-03-20T13:44:00Z
.tex | 生物系统处于临界状态吗:最大熵原则

本文探讨生物系统是否处于临界状态,指出其状态参数常接近临界点。作者运用最大熵原则和概率分布模型,强调在有限信息下应减少假设。通过拉格朗日乘子法求解最优分布,并结合机器学习方法,推动对生物系统的理解。

.tex | 生物系统处于临界状态吗:最大熵原则

阿掖山:一个博客
阿掖山:一个博客 · 2026-02-08T00:00:00Z
.tex | 生物系统处于临界状态吗:Zipf 定律

本文探讨了生物系统在临界点附近的特性,引用了沙堆、地震和生物演化等研究,指出生物系统的参数常位于临界面附近,强调熵与能量的线性关系及Zipf定律的应用。

.tex | 生物系统处于临界状态吗:Zipf 定律

阿掖山:一个博客
阿掖山:一个博客 · 2026-01-25T00:00:00Z
维持一个熵减系统,避免陷入自责和丧的恶性循环

熵是混乱程度的概念,管理和个人提升需建立系统以保持秩序。保持开放心态、适度压力和持续学习有助于减少混乱。冥想等方法可以集中注意力,提高生活和工作的效率。

维持一个熵减系统,避免陷入自责和丧的恶性循环

joojenZhou 个人网站
joojenZhou 个人网站 · 2025-11-30T12:21:03Z
从香农到现代人工智能:机器学习的完整信息理论指南

这篇文章探讨了香农的信息理论与现代机器学习工具的关系,涵盖熵、信息增益、交叉熵和KL散度等概念。香农的理论为数据压缩和神经网络的损失函数奠定基础,强调稀有事件携带更多信息,并介绍了在决策树、特征选择和生成模型中的应用,帮助理解机器学习中的不确定性和优化过程。

从香农到现代人工智能:机器学习的完整信息理论指南

MachineLearningMastery.com
MachineLearningMastery.com · 2025-11-20T11:00:25Z

研究团队提出了一种选择性熵正则化方法(SIREN),有效解决了大语言模型在RLVR训练中的“熵困境”。该方法通过限制探索范围、聚焦关键决策和稳定训练过程,精准调控探索行为,显著提升了模型在数学推理等任务上的表现。

拒绝“熵崩塌”和“熵爆炸”!这项研究让大模型推理成绩飙升

量子位
量子位 · 2025-10-13T09:12:43Z
光滑数与最大熵

给定阈值,-光滑数是所有质因子不超过该阈值的自然数。研究表明,-光滑数的数量与某些函数相关,其渐近行为复杂。通过最大熵原理,可以建立-光滑数的概率模型,揭示质因子的分布特征。

光滑数与最大熵

What's new by TerryTao
What's new by TerryTao · 2025-09-15T17:13:47Z

数字化未能解决组织的熵增问题,冗余审批和孤岛系统导致效率下降,反而加剧了这一现象。真正的解决方案在于赋予流程自我演化能力,以适应业务变化。

(五)数字化治好了熵增么

dotNET跨平台
dotNET跨平台 · 2025-07-10T00:02:55Z
  • <<
  • <
  • 1 (current)
  • 2
  • 3
  • >
  • >>
👤 个人中心
在公众号发送验证码完成验证
登录验证
在本设备完成一次验证即可继续使用

完成下面两步后,将自动完成登录并继续当前操作。

1 关注公众号
小红花技术领袖公众号二维码
小红花技术领袖
如果当前 App 无法识别二维码,请在微信搜索并关注该公众号
2 发送验证码
在公众号对话中发送下面 4 位验证码
友情链接: MOGE.AI 九胧科技 模力方舟 Gitee AI 菜鸟教程 Remio.AI DeekSeek连连 53AI 神龙海外代理IP IPIPGO全球代理IP 东波哥的博客 匡优考试在线考试系统 开源服务指南 蓝莺IM Solo 独立开发者社区 AI酷站导航 极客Fun 我爱水煮鱼 周报生成器 He3.app 简单简历 白鲸出海 T沙龙 职友集 TechParty 蟒周刊 Best AI Music Generator

小红花技术领袖俱乐部
小红花·文摘:汇聚分发优质内容
小红花技术领袖俱乐部
Copyright © 2021-
粤ICP备2022094092号-1
公众号 小红花技术领袖俱乐部公众号二维码
视频号 小红花技术领袖俱乐部视频号二维码