小红花·文摘
  • 首页
  • 广场
  • 排行榜🏆
  • 直播
  • FAQ
Dify.AI
Mythos架构被22岁小伙“逆推”开源了!MoE和注意力借鉴DeepSeek

OpenMythos是一种新型的循环深度Transformer架构,采用MoE路由机制,通过跨专家权重共享实现高效推理。在参数量减少近一半的情况下,其性能与传统模型相当。研究表明,循环Transformer在处理未见知识组合和深度推理方面表现更佳,可能改变大模型的训练方式,受到学术界关注。

Mythos架构被22岁小伙“逆推”开源了!MoE和注意力借鉴DeepSeek

量子位
量子位 · 2026-04-20T07:59:51Z
科技爱好者周刊(第 393 期):脑腐状态

文章讨论了“脑腐”现象,即思维能力下降和注意力不集中,主要由于网络短视频和标题党文章的影响。长期接触这些内容使人难以深入思考,学习变得困难。建议将学习拆解为短问题,以保持专注。

科技爱好者周刊(第 393 期):脑腐状态

阮一峰的网络日志
阮一峰的网络日志 · 2026-04-16T23:20:16Z
北大团队改造DeepSeek注意力,速度快四倍还不丢精度

北京大学团队提出的新稀疏注意力机制HISA,速度提升2-4倍,几乎不损失精度。该机制通过块级粗过滤和块内精挑字符,降低索引器成本,适应超长文本需求,工程友好性强。测试结果显示HISA在速度和精度上表现优异,未来可进一步优化块特征计算和训练方式。

北大团队改造DeepSeek注意力,速度快四倍还不丢精度

量子位
量子位 · 2026-04-06T15:25:48Z
牛磺酸+B族维生素:44人双盲试验揭秘脑力增强新方法

一项双盲试验表明,牛磺酸与B族维生素结合能显著提升健康年轻人的动力表现,尤其对动力偏弱者效果明显。最佳配比为2500份牛磺酸配1份B9,能有效提高注意力和耐力。

牛磺酸+B族维生素:44人双盲试验揭秘脑力增强新方法

极道
极道 · 2026-04-02T12:47:00Z
LWiAI播客第238期 - GPT 5.4迷你版、OpenAI转型、Mamba 3、注意力残差

本期节目讨论了最新的AI新闻,包括OpenAI的GPT-5.4发布、Mistral新模型、Meta与Nvidia的AI代理竞争,以及各大公司的业务与安全动态。

LWiAI播客第238期 - GPT 5.4迷你版、OpenAI转型、Mamba 3、注意力残差

Last Week in AI
Last Week in AI · 2026-04-01T08:07:15Z
超文本重塑注意力:从线性阅读到网状思维的认知革命

超文本改变了人类的阅读方式,从线性阅读转向网状思维,使人们通过链接和多标签页探索知识。这一变化反映了认知的进化,适应了信息爆炸的时代,帮助我们在混乱中找到秩序,提升理解和学习能力。

超文本重塑注意力:从线性阅读到网状思维的认知革命

极道
极道 · 2026-03-26T03:35:00Z
独占自注意力

本文介绍了一种名为独占自注意力(XSA)的方法,旨在提升Transformer的序列建模性能。XSA通过限制注意力仅捕捉与令牌自身值向量正交的信息,从而改善上下文建模。在标准语言建模任务中,XSA在不同模型规模上均优于自注意力(SA),且随着序列长度增加,性能提升更为显著。

独占自注意力

Apple Machine Learning Research
Apple Machine Learning Research · 2026-03-25T00:00:00Z

随着气温回升,越冬的蚜虫和红蜘蛛开始活动,危害嫩叶和花苞。文章探讨了注意力变化对感知的影响,强调人与自然的互动及其重要性。同时,生成式人工智能的用户,尤其是年轻群体,逐渐增多。

Toots 411 2026 Mar.15 - Mar.21

素生
素生 · 2026-03-22T05:47:27Z
vLLM Triton 注意力后端深度解析

本文介绍了IBM研究、红帽和AMD团队开发的vLLM Triton注意力后端,旨在实现跨GPU平台的高性能。Triton是一种特定领域语言,支持用Python编写高效的GPU内核,兼容多种模型和硬件。通过优化内核设计和微基准测试,Triton后端在AMD、NVIDIA和Intel平台上表现优异,成为默认的注意力后端。

vLLM Triton 注意力后端深度解析

vLLM Blog
vLLM Blog · 2026-03-04T00:00:00Z
一分钟读论文:《AI 的好变坏临界点:注意力竞争机制揭示的安全真相》

最新研究表明,AI 输出从“好”转向“坏”具有规律可循,并可用数学公式进行预测。研究指出,AI 输出的临界点由对话上下文和竞争输出决定,提供了适用于医疗、法律等领域的可控监测框架。

一分钟读论文:《AI 的好变坏临界点:注意力竞争机制揭示的安全真相》

Micropaper
Micropaper · 2026-03-03T12:30:00Z

面壁智能推出SALA混合注意力架构,支持处理百万上下文,显著提升长文本推理效率。MiniCPM-SALA模型在5090显卡上成功运行,已开源,推动端侧智能发展。

9B端侧开源模型跑通百万上下文,面壁全新稀疏-线性混合注意力架构SALA立功了!

量子位
量子位 · 2026-02-11T13:06:27Z

智谱AI的GLM-5架构曝光,采用DeepSeek稀疏注意力机制和多Token预测,参数量达到745B,是GLM-4.7的两倍。新模型Pony Alpha被认为是GLM-5的测试版。智谱股价在两天内上涨60%,预计GLM-5将在2026年春节前发布。

GLM-5架构曝光,智谱两日涨近60%:采用DeepSeek同款稀疏注意力

量子位
量子位 · 2026-02-10T07:59:24Z
第二代AirTag是注意力缺陷者的最佳伙伴

文章讨论了第二代AirTag的改进,包括更强的蓝牙和超宽带芯片、音量更大的铃声,以及Apple Watch的精准查找功能。尽管外形未变,但连接速度和范围显著提升,特别适合多层建筑使用。作者认为AirTag对注意力缺陷者非常有帮助,但仍存在一些缺点。

第二代AirTag是注意力缺陷者的最佳伙伴

The Verge
The Verge · 2026-02-07T15:30:00Z

小米MiMo团队推出HySparse混合稀疏注意力架构,显著降低KV Cache的存储和计算开销,提升超长上下文建模效率。通过将“选择”和“缓存”交给Full Attention层,HySparse实现了高效的长距离信息访问,实验结果显示其在多项任务中表现优异。

小米给KV Cache减负80%!MiMo团队推出混合稀疏注意力架构

量子位
量子位 · 2026-02-07T10:47:34Z
人工智能的注意力跨度优秀到不应合法

Ryan与Pathway的CEO Zuzanna和CCO Victor讨论了Baby Dragon Hatchling模型,强调其在持续学习和记忆方面的创新。Mary Technology的COO Rowan介绍了AI如何帮助律师处理法律证据,提高工作效率。Pathway的模型旨在解决当前LLM的注意力和学习能力问题,而Mary Technology则专注于将法律文件转化为结构化信息。

人工智能的注意力跨度优秀到不应合法

Stack Overflow Blog
Stack Overflow Blog · 2026-02-06T08:40:00Z
冷水澡是一座小金矿

今年夏天我尝试了冷水澡,效果不错。冷水澡能提升多巴胺,增强注意力和自信。通过热冷交替法,我逐渐适应冷水,训练应对不适,提升意志力。这一简单习惯带来了丰厚的回报,值得一试。

冷水澡是一座小金矿

Limboy
Limboy · 2026-01-31T00:00:00Z
后座软件

现代软件逐渐从用户操作的工具转变为操控用户的渠道,频繁的干扰和提示让用户感到烦恼。随着互联网的发展,软件能够实时反馈用户行为,数据分析成为优化行为的工具,导致产品团队更关注指标而非用户体验。这种趋势使得软件不断推送信息,侵蚀用户的注意力,最终影响用户的忠诚度。优秀的软件应尊重用户的注意力,默默完成任务,而非不断打扰。

后座软件

Owen's Clip
Owen's Clip · 2026-01-30T05:55:41Z

文章探讨了记忆与遗忘的机制,指出日常健忘是正常现象,源于注意力转移。通过理解工作记忆与长时记忆的关系,提出减少干扰、复述和记录等方法来改善记忆。遗忘有助于信息过滤、存储强化和环境适应,体现大脑的高效运作。

你真的是记性不好吗?关于记忆和遗忘的常见误区

少数派
少数派 · 2026-01-30T03:13:23Z
专为提升注意力计算,提供稀疏与密集核函数 | 开源日报 No.863

VidBee 是一款开源视频下载器,支持从 1000 多个网站下载视频和音频,界面简洁并具备自动订阅功能。FlashMLA 是高效的注意力核函数库,提升深度学习性能。UltraRAG 是低代码框架,简化检索增强生成流程。WeMD 是专为微信公众号创作者设计的 Markdown 编辑工具,支持多功能和跨平台使用。

专为提升注意力计算,提供稀疏与密集核函数 | 开源日报 No.863

开源服务指南
开源服务指南 · 2026-01-27T23:35:25Z
语言的边界就是世界的边界

近年来,我减少了手机使用时间,但因短剧的吸引力而沉迷。短剧破坏了我的注意力和语言审美,使生活变得难以忍受。复杂的情感和人性无法通过简单的内容表达,因此我决定停止观看短剧。

语言的边界就是世界的边界

KAIX.IN
KAIX.IN · 2026-01-18T04:45:14Z
  • <<
  • <
  • 1 (current)
  • 2
  • 3
  • >
  • >>
👤 个人中心
在公众号发送验证码完成验证
登录验证
在本设备完成一次验证即可继续使用

完成下面两步后,将自动完成登录并继续当前操作。

1 关注公众号
小红花技术领袖公众号二维码
小红花技术领袖
如果当前 App 无法识别二维码,请在微信搜索并关注该公众号
2 发送验证码
在公众号对话中发送下面 4 位验证码
友情链接: MOGE.AI 九胧科技 模力方舟 Gitee AI 菜鸟教程 Remio.AI DeekSeek连连 53AI 神龙海外代理IP IPIPGO全球代理IP 东波哥的博客 匡优考试在线考试系统 开源服务指南 蓝莺IM Solo 独立开发者社区 AI酷站导航 极客Fun 我爱水煮鱼 周报生成器 He3.app 简单简历 白鲸出海 T沙龙 职友集 TechParty 蟒周刊 Best AI Music Generator

小红花技术领袖俱乐部
小红花·文摘:汇聚分发优质内容
小红花技术领袖俱乐部
Copyright © 2021-
粤ICP备2022094092号-1
公众号 小红花技术领袖俱乐部公众号二维码
视频号 小红花技术领袖俱乐部视频号二维码