小红花·文摘
  • 首页
  • AI Tokens🪙
  • 排行榜🏆
  • 直播
  • FAQ
Dify.AI
沉浸式翻译 immersive translate
香农信息论才是AI底牌,大模型压缩机80年前就造好了

香农信息论被视为AI的底层逻辑,大模型本质上是数据压缩器,其压缩能力与智能正相关;扩散模型通过去噪测量互信息;自由能原理驱动智能体探索。然而,批评者指出该理论忽视了记忆、深度、因果与意义。香农理论是智能的基础,但并非全部,意义问题仍未解决。

香农信息论才是AI底牌,大模型压缩机80年前就造好了

极道 极道 · 2026-08-25T10:14:00Z
生物信息进化论大翻车:香农定义竟被偷换

本文探讨生物信息进化论的争议,指出香农信息论与智能设计派对“信息”定义存在分歧。智能设计派强调序列复杂性和功能,而阿达米等学者将信息定义为基因组与环境关联,并计算变异数据。文章批评后者偷换概念,忽略历史偶然性和遗传漂变,导致结论与质疑无关,强调定义分歧影响对生命起源的理解。

生物信息进化论大翻车:香农定义竟被偷换

极道 极道 · 2026-07-21T10:22:00Z
别争了!香农老婆,才是世界上第一个大语言模型

香农与妻子贝蒂的实验展示了语言的可预测性与信息压缩之间的关系。贝蒂通过猜字母帮助香农记录可预测的部分,从而实现信息压缩。香农研究了语言的熵,揭示了信息量与预测能力的联系。大语言模型通过学习语言规律,能够有效预测下一个符号,体现了智能的特征。

别争了!香农老婆,才是世界上第一个大语言模型

量子位 量子位 · 2026-07-05T03:51:37Z
压缩就是智能:用初中数学语文解释什么是香农熵

本文探讨了信息论中的熵与压缩的关系,提出“压缩即智能”的观点。通过机器人搬砖的例子,说明如何利用概率优化指令编码以实现信息压缩的极限。训练AI模型的目标是提高预测准确性,降低交叉熵,从而实现更高效的文本压缩。

压缩就是智能:用初中数学语文解释什么是香农熵

极道 极道 · 2026-06-10T11:54:00Z
从香农到现代人工智能:机器学习的完整信息理论指南

这篇文章探讨了香农的信息理论与现代机器学习工具的关系,涵盖熵、信息增益、交叉熵和KL散度等概念。香农的理论为数据压缩和神经网络的损失函数奠定基础,强调稀有事件携带更多信息,并介绍了在决策树、特征选择和生成模型中的应用,帮助理解机器学习中的不确定性和优化过程。

从香农到现代人工智能:机器学习的完整信息理论指南

MachineLearningMastery.com MachineLearningMastery.com · 2025-11-20T11:00:25Z

中国电信人工智能研究院推出的智传网,通过信容律、同源律和集成律,突破信息传递限制,实现高效智能协作,降低远洋视频通话的带宽需求,未来将改善通信体验,标志着AI与通信的深度融合。

万万没想到,这家央企竟让香农和图灵又“握了一次手”

量子位 量子位 · 2025-07-28T06:13:50Z

机器之心数据服务现已上线,提供高效稳定的数据获取,简化数据爬取流程。

香农极限转化为计算优势,射频光子深度学习处理器MAFT-ONN比传统方法快数百倍

机器之心 机器之心 · 2025-06-18T06:25:00Z

该研究提出了一种快速熵近似(FEA)方法,显著降低了香农熵计算的成本和不稳定性。FEA的计算速度提高约50%,平均绝对误差为$10^{-3}$,在特征选择中表现出更高的效率和经济性。

快速的香农熵近似

BriefGPT - AI 论文速递 BriefGPT - AI 论文速递 · 2025-05-20T00:00:00Z
以香农定律处理互联网信息

作者表示他仍在写博客和周报,但新的内容都在kele.me上更新。为了减少工作量,他暂时停止更新此站。他鼓励读者前往kele.me订阅以获取更多文章。

以香农定律处理互联网信息

happy xiao happy xiao · 2023-06-15T07:46:26Z

Python 3.11 版本带来了较大的性能提升,但是,它具体在哪些方面上得到了优化呢?除了著名的“香农计划”外,它还包含哪些与性能相关的优化呢?

万万没想到,除了香农计划,Python3.11还有这么多性能提升!

豌豆花下猫 | Python猫 豌豆花下猫 | Python猫 · 2022-11-12T00:00:00Z

“在我看来,两三百年之后,当人们回过头来看我们的时候,他们可能不会记得谁曾是美国的总统。他们也不会记得谁曾是影星或摇滚歌星。但是仍然会知晓香农的名字。学校里仍然会教授信息论。”—— 理查德 · 布拉胡特

走近香农

是非题 是非题 · 2022-10-12T16:00:00Z

2020年底,斯坦福大学工程学院的 David Tse 教授在知名的在线科普出版物《量子杂志》(Quanta Magazine)上发表专栏文章,纪念美国数学家、电子工程师和密码学家、信息论的创始人克劳德·香农(Claude Shannon)博士。确实,给我们今天的生活带来极大便利的全球互联网和高速无线通信网络的开创和发展,都要归功于香农于1948年创立的现代信息理论。

克劳德·香农如何发明未来

网络热度 网络热度 · 2021-01-03T22:15:00Z

—摘自《香农传》— 到了克劳德·香农在密歇根大学拍下注册照片的时候,他已经成为一名娴熟的发明家。他的发明包括简易升降机

香农传

夜行人 夜行人 · 2020-01-31T00:00:00Z

看了一篇对香农的经验总结《10,000 Hours With Claude Shannon: How A Genius Thinks, Works, and Lives》,我对总结再总结一下。 有意识地设计自己的生活和工作习惯,使自己免于外界干扰(如社交媒体)。香农有一大堆没有回复的信件。他在有“开门习俗”的贝尔实验室中特立独行,一般关着门。关于这个开门习俗,我在 AT&T...

香农

谢益辉 谢益辉 · 2017-08-04T00:00:00Z
  • <<
  • <
  • 1 (current)
  • >
  • >>
👤 个人中心
在公众号发送验证码完成验证
登录验证
在本设备完成一次验证即可继续使用

完成下面两步后,将自动完成登录并继续当前操作。

1 关注公众号
小红花技术领袖公众号二维码
小红花技术领袖
如果当前 App 无法识别二维码,请在微信搜索并关注该公众号
2 发送验证码
在公众号对话中发送下面 4 位验证码
友情链接: MOGE.AI 九胧科技 1tok 菜鸟教程 Remio.AI DeekSeek连连 53AI 神龙海外代理IP IPIPGO全球代理IP 东波哥的博客 匡优考试在线考试系统 开源服务指南 蓝莺IM Solo 独立开发者社区 AI酷站导航 极客Fun 我爱水煮鱼 周报生成器 He3.app 简单简历 白鲸出海 T沙龙 职友集 TechParty 蟒周刊 Best AI Music Generator 模力方舟 Gitee AI

小红花技术领袖俱乐部
小红花·文摘:汇聚分发优质内容
小红花技术领袖俱乐部
Copyright © 2021-
粤ICP备2022094092号-1
公众号 小红花技术领袖俱乐部公众号二维码
视频号 小红花技术领袖俱乐部视频号二维码