文章记录了作者一天的琐碎生活与思考:从雨天困乏、听陈绮贞专辑的怀旧,到与ChatGPT讨论“屎与熵”的哲学联想,将企业资产处置类比为降低系统熵。随后反思自我模型构建的意义,并收到新疆馕、吃面、聊装修等日常片段,展现生活与思维的交织。
一直以来,交叉熵(Cross Entropy)都是LLM预训练和微调的标准损失函数。那这个“标准”可以改吗?如果想改,那又有哪些选择呢?改完之后又会带来什么影响呢?可能很多读者从未认真推敲过这些...
本文探讨软件工程中的“艺术”在于通过熵减原则修复Bug,即不仅修复问题本身,还消除其存在根源。作者提出以本体论投影、IRDI治理和MetaSkill DAG为核心的架构体系,将领域知识显式化、标识全局化、依赖单向化,从而降低系统复杂度,实现可治理的长期主义工程实践。
灵格科技发布灵格引擎全球公测版,旨在量化语言质量,作为AI时代知识基础设施。其精选系列《熵刻九十年》从350万篇AI文献中选50篇,用LEQ方法论测量认知密度,发现香农1948年论文熵值最高,GPT-3等现代论文熵值较低,反映知识演化规律。
中国航空创新创业大赛CAIEC自2016年举办,专注航空全产业链。2026年赛事将全面升级,结合中国空天科技博览会,聚焦航空航天先进材料、智能制造和新型飞行器等领域。评审由权威专家组成,鼓励早报名,获奖项目可享受政策支持和投资基金,推动航空科技自立自强。
物理学家通过超冷铷原子实验发现,时间可能不是宇宙的基本属性,而是原子间互动的副产品。实验表明,时间可以通过熵的变化来定义,挑战了传统对时间的理解。提出的“涌现时间”理论暗示时间可能是系统内部互动的结果,而非绝对存在。
AI的幻觉、越狱和误拒问题源于结构熵与语义熵的失衡。维持临界点负零点零三的平衡是实现通用智能的关键。通过熵平衡训练法,可以提升AI的创新、准确性、泛化能力和自我校正能力。
本文探讨了信息论中的熵与压缩的关系,提出“压缩即智能”的观点。通过机器人搬砖的例子,说明如何利用概率优化指令编码以实现信息压缩的极限。训练AI模型的目标是提高预测准确性,降低交叉熵,从而实现更高效的文本压缩。
在去年的技术报告《Muon is Scalable for LLM Training》中,为了对比Muon与Adam所训练出来的模型的差异,我们引入了“奇异值熵”的概念,观察到Muon训练出来的...
本文介绍Delta-state CRDT,解决传统state-based CRDT全量同步带宽浪费问题。它只传播增量而非完整状态,大幅降低传输量,同时保持宽松网络要求。文章涵盖理论基础、delta-interval因果一致性、反熵协议、Merkle树兜底同步、元数据垃圾回收,并分析Riak、AntidoteDB等实际应用,展示其在分布式系统中的工程价值。
1948年,Claude Shannon提出信息论,奠定了现代密码学的基础。他通过Shannon熵明确了完美保密的条件,指出一次一密是唯一的完美保密系统。尽管理论上安全,实际应用中密钥管理等问题使得现代密码学转向计算安全,追求在有限计算能力下的安全性。
Entrix是一种新工具,旨在解决代码熵治理问题。它将分散的质量规则整合为可执行和可视化的结构,帮助团队在开发过程中有效管理代码质量。通过可视化界面,团队可以直观了解治理重点和薄弱环节,从而将规则融入工作流程。
本文探讨了强化学习中的熵保持问题,指出许多策略梯度算法在训练过程中自然降低熵,限制了探索能力。作者建议主动监控和控制熵,并提出了REPO和ADAPO等算法以调节熵,从而保持模型多样性,提高策略的性能和适应性。
大模型的损失函数主要是交叉熵,通过量化模型输出与预期的差距来评估性能。交叉熵与负对数似然(NLL)密切相关,都是衡量预测准确性的工具。训练目标是最小化损失值,以提高预测准确性。交叉熵从信息论角度评估模型分布与真实分布的一致性,确保模型能准确预测下一个词元。
大模型的损失函数主要是交叉熵,它通过概率和信息理论衡量模型输出与真实结果的差距。模型的目标是预测下一个token,损失函数通过负对数似然最小化错误概率。交叉熵量化模型分布与真实分布的一致性,反映生成文本的准确性。
我考虑使用Astro重构博客,但最终决定不折腾。虽然喜欢Spectre主题,还是为Lucy开了主页。Astro框架支持markdown,速度快。AI迅速发展,可能取代人类工作,巨头们只关心利润。
文章探讨了人工智能市场的熵增现象,指出过度供给导致混乱。以刘美含为例,她在使用AI工具时遇到读音不一致的问题,反映出AI工具的局限性。百度通过将AI能力嵌入已有APP,尊重用户需求,减少熵增。文章强调开放生态和组织创新的重要性,认为企业需主动对抗熵增,以实现长期竞争力。
Entrix通过反熵机制治理Vibe Coding,强调在AI参与交付后,需明确完成条件和验证证据,避免依赖经验。关键在于将治理规则和证据记录在仓库中,以确保系统有效判断变更的安全性,提升整体可信度。
本文探讨生物系统是否处于临界状态,指出其状态参数常接近临界点。作者运用最大熵原则和概率分布模型,强调在有限信息下应减少假设。通过拉格朗日乘子法求解最优分布,并结合机器学习方法,推动对生物系统的理解。
本文探讨了生物系统在临界点附近的特性,引用了沙堆、地震和生物演化等研究,指出生物系统的参数常位于临界面附近,强调熵与能量的线性关系及Zipf定律的应用。
完成下面两步后,将自动完成登录并继续当前操作。