作者推出个人专栏《茶余饭后》，记录日常阅读感悟，并分享三点体会：不应让AI代表自己，否则社会系统将难以承受；核潜艇不依赖GPS，说明应减少外部依赖、建设可控基础设施；37岁后明白要珍惜注意力、勇敢表达、不再一味寻求认可，坚持做正确的事。

本文梳理线性注意力的优化路线：Performer用正交随机特征逼近softmax；DeltaNet按当前Key修正旧映射；GLA按Key通道门控衰减并分块并行；Mamba-2/SSD以标量衰减统一递推与矩阵计算；Gated DeltaNet结合整体遗忘与Delta规则，用WY表示和三角求解实现分块；KDA进一步采用逐通道衰减加Delta更新，兼顾表达力与硬件效率，并与MLA混合使用。

注意力机制让人工智能突然变强了，但它真的等于智能吗！ 2026年，大语言模型已经能翻译语言、解答数学问题，还能处理复杂任务，背后的关键技术之一就是注意力机制（Attention）。从2014年机器翻译的突破，到2017年Tran

杨立昆的世界模型路线，最大的方向错误是：他指向外部世界世界，但是他忽视人类注意力，就像你们旅游，你指向远处的风景说，你看多美，你朋友顺着你手指看过去，没看到美景，原来你的注意力是聚焦在风景上光线反光。这就是世界模型带给人的误导。 杨立昆世界模型JEPA 路线的问题是“抽象得太狠可能把关键信息也扔了”。这个关键信息其实由人类决定的，由人类的注意力聚焦的上下文信息决定的，你聚焦的美丽和你朋友没有

AI接管说话，人只管注意力收放！ 有了AI，两个人聊天最怕话不投机还硬聊。真正的高手不靠嘴皮子赢，而是靠"注意力对齐"——发现聊不到一块儿，立刻换话题，像陌生人一样重新试探，最终达到君子之交淡如水的境界。 ## 注意力管理为何能终结无效社交 你有没有过这种经历：跟一个人聊天，聊着聊着发现三观不合，对方一句话就能把你气个半死。这时候你怎么办？搬出一套大道理试图说服他？还是掏出手机让

《抗衰大脑》指出：睡眠有助清除β-淀粉样蛋白；胆固醇需平衡，LDL过多易堆积血管，HDL帮助清运；维生素D参与免疫，适度日晒有益；膳食纤维经肠道菌发酵产生丁酸盐，维护肠道屏障；持续学习新技能可改善记忆；正念、感恩等抗压练习有助缓解焦虑抑郁；需警惕短视频消耗专注力。做好睡眠、饮食、日晒、学习、新体验、抗压和注意力管理，可拥有健康大脑。

本文研究FlashAttention的I/O复杂度极限：当快存较大时，FlashAttention已达到最优数据移动阶；当快存较小时，分块矩阵乘法并存储中间矩阵更优，分界点为M=d²。论文利用红蓝卵石游戏和通信复杂度证明下界，并指出最优数据移动不等于最短运行时间，并行、同步等实现因素仍可优化。

本文探讨Transformer注意力机制的计算复杂度问题，指出标准注意力在长上下文下时间和空间开销呈平方增长。文章概述了高效注意力、FlashAttention和线性注意力等优化方案，其中线性注意力通过将Softmax替换为elu+1特征映射，将复杂度降至线性，并引入RNN式递归状态，为后续Kimi等长上下文模型奠定基础。

文章探讨了产品设计中通过积分、签到、重置次数等机制制造用户焦虑的现象。作者回顾了V2EX铜币、游戏日常任务及ChatGPT重置额度的经历，指出这些设计消耗注意力，传递焦虑而非真正价值。最终呼吁人们避免为无意义之事浪费精力，将有限注意力用于有价值之处。

Transformer 将进化为混合架构，结合注意力机制、长程状态和外部记忆等模块，以更高效地处理信息并支持多模态输入。硬件发展将影响架构设计，评估方式将变得复杂，强调系统协作和可控性。理解 Transformer 的成功在于其抽象层次和应对未来挑战的能力。

本文探讨了大语言模型在推理阶段的退化现象，如死循环和乱码等问题。退化源于自回归Transformer的注意力机制和数值精度，导致输出失控。文章分析了退化的数学根源、表现形式及其机制，并提出了多层防御策略，包括架构设计、数值工程和解码策略，以提高模型在生产环境中的稳定性。