小红花·文摘
  • 首页
  • AI Tokens🪙
  • 排行榜🏆
  • 直播
  • FAQ

文章记录了作者一天的琐碎生活与思考:从雨天困乏、听陈绮贞专辑的怀旧,到与ChatGPT讨论“屎与熵”的哲学联想,将企业资产处置类比为降低系统熵。随后反思自我模型构建的意义,并收到新疆馕、吃面、聊装修等日常片段,展现生活与思维的交织。

入蜀记 day455 排泄的仍是信息

素生 素生 · 2026-08-22T06:51:27Z

一直以来,交叉熵(Cross Entropy)都是LLM预训练和微调的标准损失函数。那这个“标准”可以改吗?如果想改,那又有哪些选择呢?改完之后又会带来什么影响呢?可能很多读者从未认真推敲过这些...

除了交叉熵,LM Loss还有什么选择?

科学空间|Scientific Spaces 科学空间|Scientific Spaces · 2026-08-09T09:18:00Z
修 Bug 的手艺与架构的艺术:从熵增到熵减 - 张善友

本文探讨软件工程中的“艺术”在于通过熵减原则修复Bug,即不仅修复问题本身,还消除其存在根源。作者提出以本体论投影、IRDI治理和MetaSkill DAG为核心的架构体系,将领域知识显式化、标识全局化、依赖单向化,从而降低系统复杂度,实现可治理的长期主义工程实践。

修 Bug 的手艺与架构的艺术:从熵增到熵减 - 张善友

张善友 张善友 · 2026-08-05T23:14:00Z
灵格科技上线灵格引擎全球公测版

灵格科技发布灵格引擎全球公测版,旨在量化语言质量,作为AI时代知识基础设施。其精选系列《熵刻九十年》从350万篇AI文献中选50篇,用LEQ方法论测量认知密度,发现香农1948年论文熵值最高,GPT-3等现代论文熵值较低,反映知识演化规律。

灵格科技上线灵格引擎全球公测版

全球TMT-美通国际 全球TMT-美通国际 · 2026-08-05T06:56:58Z
第十一届中国航空创新创业大赛报名开启|熵跃苍穹 无界新元

中国航空创新创业大赛CAIEC自2016年举办,专注航空全产业链。2026年赛事将全面升级,结合中国空天科技博览会,聚焦航空航天先进材料、智能制造和新型飞行器等领域。评审由权威专家组成,鼓励早报名,获奖项目可享受政策支持和投资基金,推动航空科技自立自强。

第十一届中国航空创新创业大赛报名开启|熵跃苍穹 无界新元

量子位 量子位 · 2026-07-09T09:48:29Z
时间是客观的?物理学家用两万个原子就搞出了时间

物理学家通过超冷铷原子实验发现,时间可能不是宇宙的基本属性,而是原子间互动的副产品。实验表明,时间可以通过熵的变化来定义,挑战了传统对时间的理解。提出的“涌现时间”理论暗示时间可能是系统内部互动的结果,而非绝对存在。

时间是客观的?物理学家用两万个原子就搞出了时间

极道 极道 · 2026-06-29T03:38:00Z
结构熵与语义熵的临界点一刀斩断AI幻觉、越狱、误拒三大顽疾

AI的幻觉、越狱和误拒问题源于结构熵与语义熵的失衡。维持临界点负零点零三的平衡是实现通用智能的关键。通过熵平衡训练法,可以提升AI的创新、准确性、泛化能力和自我校正能力。

结构熵与语义熵的临界点一刀斩断AI幻觉、越狱、误拒三大顽疾

极道 极道 · 2026-06-20T23:26:00Z
压缩就是智能:用初中数学语文解释什么是香农熵

本文探讨了信息论中的熵与压缩的关系,提出“压缩即智能”的观点。通过机器人搬砖的例子,说明如何利用概率优化指令编码以实现信息压缩的极限。训练AI模型的目标是提高预测准确性,降低交叉熵,从而实现更高效的文本压缩。

压缩就是智能:用初中数学语文解释什么是香农熵

极道 极道 · 2026-06-10T11:54:00Z

在去年的技术报告《Muon is Scalable for LLM Training》中,为了对比Muon与Adam所训练出来的模型的差异,我们引入了“奇异值熵”的概念,观察到Muon训练出来的...

矩阵参数的奇异值熵越高越好吗?

科学空间|Scientific Spaces 科学空间|Scientific Spaces · 2026-05-29T06:54:00Z

本文介绍Delta-state CRDT,解决传统state-based CRDT全量同步带宽浪费问题。它只传播增量而非完整状态,大幅降低传输量,同时保持宽松网络要求。文章涵盖理论基础、delta-interval因果一致性、反熵协议、Merkle树兜底同步、元数据垃圾回收,并分析Riak、AntidoteDB等实际应用,展示其在分布式系统中的工程价值。

【分布式系统百科】Delta-state CRDT 与反熵优化:从全量同步到增量传播

土法炼钢兴趣小组的博客 土法炼钢兴趣小组的博客 · 2026-04-13T00:00:00Z

1948年,Claude Shannon提出信息论,奠定了现代密码学的基础。他通过Shannon熵明确了完美保密的条件,指出一次一密是唯一的完美保密系统。尽管理论上安全,实际应用中密钥管理等问题使得现代密码学转向计算安全,追求在有限计算能力下的安全性。

【密码学百科】信息论入门:熵、完美保密与 Shannon 定理

土法炼钢兴趣小组的博客 土法炼钢兴趣小组的博客 · 2026-04-04T00:00:00Z
Harness Engineering Skill:使用 Entrix 技能开始你的代码熵治理

Entrix是一种新工具,旨在解决代码熵治理问题。它将分散的质量规则整合为可执行和可视化的结构,帮助团队在开发过程中有效管理代码质量。通过可视化界面,团队可以直观了解治理重点和薄弱环节,从而将规则融入工作流程。

Harness Engineering Skill:使用 Entrix 技能开始你的代码熵治理

phodal phodal · 2026-03-30T15:03:00Z
熵保持强化学习

本文探讨了强化学习中的熵保持问题,指出许多策略梯度算法在训练过程中自然降低熵,限制了探索能力。作者建议主动监控和控制熵,并提出了REPO和ADAPO等算法以调节熵,从而保持模型多样性,提高策略的性能和适应性。

熵保持强化学习

Apple Machine Learning Research Apple Machine Learning Research · 2026-03-30T00:00:00Z
大模型的损失函数为什么是交叉熵

大模型的损失函数主要是交叉熵,通过量化模型输出与预期的差距来评估性能。交叉熵与负对数似然(NLL)密切相关,都是衡量预测准确性的工具。训练目标是最小化损失值,以提高预测准确性。交叉熵从信息论角度评估模型分布与真实分布的一致性,确保模型能准确预测下一个词元。

大模型的损失函数为什么是交叉熵

木鸟杂记 木鸟杂记 · 2026-03-29T07:31:35Z
为什么大模型的损失函数是交叉熵

大模型的损失函数主要是交叉熵,它通过概率和信息理论衡量模型输出与真实结果的差距。模型的目标是预测下一个token,损失函数通过负对数似然最小化错误概率。交叉熵量化模型分布与真实分布的一致性,反映生成文本的准确性。

为什么大模型的损失函数是交叉熵

木鸟杂记 木鸟杂记 · 2026-03-29T07:31:35Z

我考虑使用Astro重构博客,但最终决定不折腾。虽然喜欢Spectre主题,还是为Lucy开了主页。Astro框架支持markdown,速度快。AI迅速发展,可能取代人类工作,巨头们只关心利润。

熵增的Agent

碎言博客 碎言博客 · 2026-03-23T12:18:28Z
AI熵增,百度求解

文章探讨了人工智能市场的熵增现象,指出过度供给导致混乱。以刘美含为例,她在使用AI工具时遇到读音不一致的问题,反映出AI工具的局限性。百度通过将AI能力嵌入已有APP,尊重用户需求,减少熵增。文章强调开放生态和组织创新的重要性,认为企业需主动对抗熵增,以实现长期竞争力。

AI熵增,百度求解

TechWeb 全站精华 TechWeb 全站精华 · 2026-03-23T03:14:11Z
Entrix:我们如何用反熵机制治理 Vibe Coding

Entrix通过反熵机制治理Vibe Coding,强调在AI参与交付后,需明确完成条件和验证证据,避免依赖经验。关键在于将治理规则和证据记录在仓库中,以确保系统有效判断变更的安全性,提升整体可信度。

Entrix:我们如何用反熵机制治理 Vibe Coding

phodal phodal · 2026-03-20T13:44:00Z
.tex | 生物系统处于临界状态吗:最大熵原则

本文探讨生物系统是否处于临界状态,指出其状态参数常接近临界点。作者运用最大熵原则和概率分布模型,强调在有限信息下应减少假设。通过拉格朗日乘子法求解最优分布,并结合机器学习方法,推动对生物系统的理解。

.tex | 生物系统处于临界状态吗:最大熵原则

阿掖山:一个博客 阿掖山:一个博客 · 2026-02-08T00:00:00Z
.tex | 生物系统处于临界状态吗:Zipf 定律

本文探讨了生物系统在临界点附近的特性,引用了沙堆、地震和生物演化等研究,指出生物系统的参数常位于临界面附近,强调熵与能量的线性关系及Zipf定律的应用。

.tex | 生物系统处于临界状态吗:Zipf 定律

阿掖山:一个博客 阿掖山:一个博客 · 2026-01-25T00:00:00Z
  • <<
  • <
  • 1 (current)
  • 2
  • 3
  • >
  • >>
👤 个人中心
在公众号发送验证码完成验证
登录验证
在本设备完成一次验证即可继续使用

完成下面两步后,将自动完成登录并继续当前操作。

1 关注公众号
小红花技术领袖公众号二维码
小红花技术领袖
如果当前 App 无法识别二维码,请在微信搜索并关注该公众号
2 发送验证码
在公众号对话中发送下面 4 位验证码
友情链接: MOGE.AI 九胧科技 1tok 菜鸟教程 Remio.AI DeekSeek连连 53AI 神龙海外代理IP IPIPGO全球代理IP 东波哥的博客 匡优考试在线考试系统 开源服务指南 蓝莺IM Solo 独立开发者社区 AI酷站导航 极客Fun 我爱水煮鱼 周报生成器 He3.app 简单简历 白鲸出海 T沙龙 职友集 TechParty 蟒周刊 Best AI Music Generator 模力方舟 Gitee AI

小红花技术领袖俱乐部
小红花·文摘:汇聚分发优质内容
小红花技术领袖俱乐部
Copyright © 2021-
粤ICP备2022094092号-1
公众号 小红花技术领袖俱乐部公众号二维码
视频号 小红花技术领袖俱乐部视频号二维码