香农与妻子贝蒂的实验展示了语言的可预测性与信息压缩之间的关系。贝蒂通过猜字母帮助香农记录可预测的部分,从而实现信息压缩。香农研究了语言的熵,揭示了信息量与预测能力的联系。大语言模型通过学习语言规律,能够有效预测下一个符号,体现了智能的特征。
本文探讨了信息论中的熵与压缩的关系,提出“压缩即智能”的观点。通过机器人搬砖的例子,说明如何利用概率优化指令编码以实现信息压缩的极限。训练AI模型的目标是提高预测准确性,降低交叉熵,从而实现更高效的文本压缩。
这篇文章探讨了香农的信息理论与现代机器学习工具的关系,涵盖熵、信息增益、交叉熵和KL散度等概念。香农的理论为数据压缩和神经网络的损失函数奠定基础,强调稀有事件携带更多信息,并介绍了在决策树、特征选择和生成模型中的应用,帮助理解机器学习中的不确定性和优化过程。
中国电信人工智能研究院推出的智传网,通过信容律、同源律和集成律,突破信息传递限制,实现高效智能协作,降低远洋视频通话的带宽需求,未来将改善通信体验,标志着AI与通信的深度融合。
机器之心数据服务现已上线,提供高效稳定的数据获取,简化数据爬取流程。
该研究提出了一种快速熵近似(FEA)方法,显著降低了香农熵计算的成本和不稳定性。FEA的计算速度提高约50%,平均绝对误差为$10^{-3}$,在特征选择中表现出更高的效率和经济性。
作者表示他仍在写博客和周报,但新的内容都在kele.me上更新。为了减少工作量,他暂时停止更新此站。他鼓励读者前往kele.me订阅以获取更多文章。
Python 3.11 版本带来了较大的性能提升,但是,它具体在哪些方面上得到了优化呢?除了著名的“香农计划”外,它还包含哪些与性能相关的优化呢?
“在我看来,两三百年之后,当人们回过头来看我们的时候,他们可能不会记得谁曾是美国的总统。他们也不会记得谁曾是影星或摇滚歌星。但是仍然会知晓香农的名字。学校里仍然会教授信息论。”—— 理查德 · 布拉胡特
2020年底,斯坦福大学工程学院的 David Tse 教授在知名的在线科普出版物《量子杂志》(Quanta Magazine)上发表专栏文章,纪念美国数学家、电子工程师和密码学家、信息论的创始人克劳德·香农(Claude Shannon)博士。确实,给我们今天的生活带来极大便利的全球互联网和高速无线通信网络的开创和发展,都要归功于香农于1948年创立的现代信息理论。
—摘自《香农传》— 到了克劳德·香农在密歇根大学拍下注册照片的时候,他已经成为一名娴熟的发明家。他的发明包括简易升降机
看了一篇对香农的经验总结《10,000 Hours With Claude Shannon: How A Genius Thinks, Works, and Lives》,我对总结再总结一下。 有意识地设计自己的生活和工作习惯,使自己免于外界干扰(如社交媒体)。香农有一大堆没有回复的信件。他在有“开门习俗”的贝尔实验室中特立独行,一般关着门。关于这个开门习俗,我在 AT&T...
完成下面两步后,将自动完成登录并继续当前操作。