MIT历史学者林德奎斯特研究早期AI工程师为何刻意在算法中注入随机性以模拟人类创造力。他指出这种随机性正是当今大模型产生“幻觉”的源头,创造力与可预测性之间存在必然权衡。早期研究者重视系统偶尔给出意外答案,如今商业系统则压制这种怪异。他提醒,消除幻觉可能付出牺牲创造力的代价。
Jev是TypeSafe AI的决策模型,根据状态文本和问题输出概率、选项分布及期望评分,用于工单分派等场景。文章将其与古代占卜对比:两者表面相似,但Jev提供可校准、可验证的概率,占卜则用模糊叙事制造意义感。核心差异在于Jev摊开随机性,占卜隐藏随机性,而人类往往更渴望叙事闭合而非精确概率。
Go 1.27引入了UUIDv7,但在浏览器环境中生成的UUID存在规律性问题,导致随机性丧失。由于浏览器安全策略,Go无法获取高精度时间,UUID的随机部分变为固定值“7000”,这可能在高并发情况下引发碰撞风险。Go团队正在探索解决方案以确保UUID的安全性和有效性。
本文讨论了大模型输出的两个重要超参数:温度(Temperature)和核采样(Top-p)。温度控制输出的随机性,低温度使输出更确定,高温度增加多样性。核采样通过动态截断低概率词来调整候选词范围。建议在需要确定性时使用低温度和低Top-p,而在追求创意时使用高温度和高Top-p。默认配置为温度0.7和Top-p 0.9,适合大多数场景。
随机数在密码学中至关重要,影响密钥生成、加密和签名等安全性。随机数生成器的缺陷可能导致严重后果,如Debian OpenSSL事件和PlayStation 3私钥泄露。真随机数源于不可预测的物理现象,而伪随机数依赖算法。密码学安全伪随机数生成器(CSPRNG)确保输出不可预测且与真随机数不可区分。操作系统提供的随机数接口是安全的最佳选择。
塔勒布的无限猴子理论指出,随机性可以生成任何内容。而现代的大语言模型(LLM)通过学习人类文本,基于统计规律生成文本,显著提高了生成有序内容的概率。LLM将人类知识压缩为概率分布,降低了获取知识的成本。尽管LLM缺乏真正的理解,但它在随机与智能之间创造了一种新能力。
大模型生成文本时,通过预测下一个词元输出,使用Temperature、Top-p和Top-k参数控制输出的随机性和创造性。Temperature调节概率分布的尖锐程度,Top-k和Top-p限制候选词元的数量和概率密度。这些方法旨在提高生成内容的多样性和创造性,但模型仍基于概率随机选择,缺乏真正的创造过程。
随机性是游戏重玩价值的关键,但计算机生成的是伪随机。程序化生成需要平滑的随机性,即噪声。常见的噪声类型有白噪声、柏林噪声和分形噪声。柏林噪声适合地形生成,因为相近输入产生相近输出;分形噪声通过叠加不同频率的噪声,模拟自然景观。
塔勒布“不确定性系列”以随机性为核心,指出成功多靠运气,须警惕幸存者偏差;黑天鹅事件稀少却影响巨大,世界更接近极端斯坦。应对之道是培养反脆弱、采用杠铃策略、坚持风险共担与对称性“银律”。作者认同其视角,但批评他忽视概率、过度贬低专家,主张中庸。
Spotify改进了Shuffle功能,推出“更少重复”模式,以提升歌曲多样性和新鲜感。该模式通过生成多个随机序列并根据用户播放历史评分,选择新鲜度最高的序列,减少重复歌曲。标准Shuffle仍保持纯随机,适合喜欢经典体验的用户。
文章讨论了生命的演化及环境对其发展的影响,强调演化的随机性和环境变化的重要性。同时,作者分享了个人运动体验,认为真实和坚持原则是成功的关键。
文章借“布里丹之驴”说明:系统陷入僵局、难以抉择时,随机性可打破僵局、带来自由;缺乏随机性则可能导致系统僵化甚至失败。
文章借“布里丹之驴”说明:系统陷入僵局时,随机性可打破僵持、带来自由,缺乏随机性可能致命,因此可用随机性改善僵化机制。
演化一词在中文中存在“演化”和“进化”的争论,前者强调变化的随机性与不确定性,后者则暗示方向性。演化论的核心在于生命的变化与适应,挑战了神创论,影响深远。
开发者在制作代理AI应用时应重视文档编写,以便AI理解工具的使用时机和原因。通过编写MCP工具,开发者可以提升游戏体验,增加随机性,打破可预测性。良好的文档不仅描述工具功能,还指导AI何时和为何使用工具,从而提升整体效果。
Oasis Sapphire通过可信执行环境(TEE)为区块链提供安全的随机数生成,解决了传统方法的脆弱性。合约可直接请求随机数,确保安全性和可验证性,适用于NFT铸造、链上游戏和DAO投票等场景,保护隐私且无需依赖中心化预言机。
本研究解决了对齐模型在特定任务中的不足,特别是那些需要不可预测输出的任务,如随机数生成、混合策略游戏和创意写作。作者提出基础语言模型在这些领域的表现优于对齐模型,指出对齐技术可能导致模型行为的狭隘,影响创造性和多样性。这些发现表明,在某些能力之间存在有效的权衡。
量子计算开启了新的计算时代,Qiskit使学习变得简单。通过量子抛硬币实验,用户可以理解叠加和随机性等基本概念。这项技术将推动药物发现、网络安全和优化等领域的变革。
本研究设计了一系列最小化算法任务,以量化现有语言模型的创造性极限。研究发现,输入层注入噪声比输出层的温度采样更能激发随机性,从而提升模型的多样性和创造性,为分析开放式创造性技能提供了新的理论框架。
PD-PPO是一种新型强化学习方法,适用于随机变量环境。它结合双重评论网络与PPO架构,能更有效应对不确定性,尤其在高随机性环境中优于传统方法。
完成下面两步后,将自动完成登录并继续当前操作。