小红花·文摘
  • 首页
  • 广场
  • 排行榜🏆
  • 直播
  • FAQ
Dify.AI
《GPT 图解》笔记:Transformer

这篇文章介绍了Transformer模型的结构和关键概念。Transformer通过注意力机制替代RNN,解决了序列建模中的上下文依赖问题。引入位置编码使模型能够感知token的位置信息,注意力机制包括自注意力和交叉注意力。编码器和解码器结构相似,但解码器使用因果掩码以确保生成序列的自回归特性。整体上,Transformer实现了高效的并行计算和长距离依赖处理。

《GPT 图解》笔记:Transformer

Ying’s Blog
Ying’s Blog · 2026-06-07T07:18:45Z
《GPT 图解》笔记:Seq2Seq及点积注意力

本文介绍了Seq2Seq模型及其点积注意力机制。Seq2Seq用于机器翻译,通过编码器将输入序列转换为上下文表示,解码器生成输出序列。点积注意力计算输入矩阵的相似度,帮助解码器关注输入序列中的重要部分,从而提高上下文捕捉能力,增强翻译效果。

《GPT 图解》笔记:Seq2Seq及点积注意力

Ying’s Blog
Ying’s Blog · 2026-05-24T11:10:44Z
VideoLAN 发布 Dav2d 开源 AV2 解码器

开放媒体联盟计划在2025年底发布AV2标准,目前AV2规范仍在草案阶段。VideoLAN开发的开源AV2解码器dav2d已发布,旨在兼顾速度与准确性,支持多平台。dav2d代码已在VideoLAN GitLab公开,开发者正在优化其C语言实现和API,以提升性能。

VideoLAN 发布 Dav2d 开源 AV2 解码器

实时互动网
实时互动网 · 2026-05-06T02:10:53Z

本文总结了Transformer架构的关键组成部分及其工作流程,重点讲解了编码器和解码器的层次结构、自注意力机制、残差连接和位置编码的重要性。探讨了训练与推理的不同方式,以及三种变体(Encoder-only、Decoder-only、Encoder-Decoder)的应用场景和优缺点。最终指出,Decoder-only模型因其灵活性和效率在现代大语言模型中占主导地位。

【Transformer 与注意力机制】20|Transformer 整体架构:一张图看懂

土法炼钢兴趣小组的博客
土法炼钢兴趣小组的博客 · 2026-04-15T00:00:00Z
GStreamer 1.28.1 发布,新增基于 Whisper 的语音转文本功能,并支持 AV1 有状态 V4L2 解码器

GStreamer 1.28.1于2026年2月26日发布,新增语音转文本功能、调试插件和AV1解码器支持,修复多个组件问题,增强音频事件配置及WebRTC流功能,提升安全性和播放性能。

GStreamer 1.28.1 发布,新增基于 Whisper 的语音转文本功能,并支持 AV1 有状态 V4L2 解码器

实时互动网
实时互动网 · 2026-02-27T02:11:14Z
在线教程丨GLM-Image基于自回归+扩散解码器混合架构,精准理解指令写对文字

智谱与华为联合开源了新一代图像生成模型GLM-Image,该模型采用自回归与扩散解码器混合架构,提升了文字生成的准确性,支持多种比例的图像生成,成本低至0.1元,适合商业应用。用户可在HyperAI官网体验该模型。

在线教程丨GLM-Image基于自回归+扩散解码器混合架构,精准理解指令写对文字

HyperAI超神经
HyperAI超神经 · 2026-01-20T05:35:43Z
Shotcut 26.1 Beta 视频编辑器新增硬件解码器选项

Shotcut 26.1 beta版于2026年1月16日发布,新增GPU加速硬件解码选项,提升视频编辑速度。Linux、Windows和macOS版使用不同解码API,硬件解码可降低CPU使用率,但对高分辨率视频性能影响较大,导出时默认禁用。

Shotcut 26.1 Beta 视频编辑器新增硬件解码器选项

实时互动网
实时互动网 · 2026-01-19T02:30:59Z
T5Gemma模型再更新,谷歌还在坚持编码器-解码器架构

抱歉,您提供的文本内容过于简短,无法进行有效总结。请提供更多信息或更长的文本。

T5Gemma模型再更新,谷歌还在坚持编码器-解码器架构

机器之心
机器之心 · 2025-12-19T03:59:00Z

T5Gemma 2是基于Gemma 3的多模态长上下文编码器-解码器模型,采用绑定词嵌入和合并注意力机制,显著减少参数量。它支持图像与文本处理,具备更大的上下文窗口和多语言能力,适合快速实验和应用。

T5Gemma 2:下一代编码器-解码器模型

The Keyword
The Keyword · 2025-12-18T18:30:00Z

T5Gemma 2是基于Gemma 3的多模态长上下文编码器-解码器模型,采用绑定词嵌入和合并注意力机制,显著减少参数数量。它支持图像和文本处理,具备更长的上下文窗口和多语言能力,适合快速实验和应用部署。

T5Gemma 2:下一代编码器-解码器模型

The Keyword
The Keyword · 2025-12-18T18:30:00Z

Transformer 是一种处理序列的模型,通过向量化表示基本单元(token)并利用自注意力机制捕捉元素间关系。其核心在于上下文建模,以生成更丰富的表示,适用于语言和时序数据。Transformer 架构包括编码器、解码器和编码器-解码器,分别用于理解、生成和翻译任务。

Transformer 个人入门

xxxx的个人博客
xxxx的个人博客 · 2025-12-18T14:35:32Z
Qt 多媒体播放器深度解析:从 QMediaPlayer 到 FFmpeg 自定义播放架构

在Qt开发多媒体应用时,QMediaPlayer可能因依赖系统解码器而无法播放标准MP4视频。解决方案包括安装解码器、使用libVLC或mpv作为后端,或使用FFmpeg构建自定义播放器。

Qt 多媒体播放器深度解析:从 QMediaPlayer 到 FFmpeg 自定义播放架构

实时互动网
实时互动网 · 2025-11-19T02:59:01Z
HBS 选择 BBright 编解码器,通过 SRT 将 ST 2110 直播制作工作流程连接到云端

Host Broadcast Services (HBS) 部署了 BBright 编码器和解码器,通过 SRT 连接云端,实现高质量体育赛事直播。该技术支持双向通信,增强了远程制作和实时传输的灵活性与可靠性,确保本地与云端的互操作性,促进项目成功。

HBS 选择 BBright 编解码器,通过 SRT 将 ST 2110 直播制作工作流程连接到云端

实时互动网
实时互动网 · 2025-11-19T02:16:20Z
AV1解码生态全景图

自2018年发布以来,AV1编码标准因其高效、免费和开放的特性,迅速成为北美流媒体市场的主流选择。YouTube、Netflix和Meta等主要平台已广泛采用AV1,支持设备包括手机、电视和笔记本。开源解码器dav1d在硬解普及前推动了AV1的市场渗透。随着5G和8K技术的发展,AV1的应用场景将进一步扩展。

AV1解码生态全景图

实时互动网
实时互动网 · 2025-11-11T10:21:46Z

近期全球网络安全事件包括AWS服务中断、杜比解码器漏洞、TP-Link网关高危漏洞、Xubuntu官网被黑、Windows SMB漏洞及WatchGuard设备风险。专家建议及时更新防护措施,增强安全意识。

FreeBuf早报 | AWS服务大规模中断影响全球企业;杜比解码器零点击漏洞威胁安卓用户

FreeBuf网络安全行业门户
FreeBuf网络安全行业门户 · 2025-10-21T09:47:24Z

杜比DDPlus解码器存在关键零点击漏洞,攻击者可通过恶意音频消息远程执行代码。该漏洞源于整数溢出,影响Android设备,用户无需交互即可触发。研究人员已提供样本比特流,建议用户及时更新设备,漏洞也可能影响macOS及其他集成杜比技术的系统。

杜比解码器零点击漏洞曝光,安卓用户可能遭RCE

FreeBuf网络安全行业门户
FreeBuf网络安全行业门户 · 2025-10-20T05:48:40Z
AI 论文周报丨递归推理方法/轻量级解码器架构/深度卷积神经网络架构……多领域前沿动态一览

语言智能体旨在通过自身经验学习超越人类,但目前依赖专家数据微调,导致扩展性和泛化能力不足。Meta提出“早期经验”范式,通过智能体自身行为生成交互数据,作为监督信号,促进强化学习与模仿学习的结合。

AI 论文周报丨递归推理方法/轻量级解码器架构/深度卷积神经网络架构……多领域前沿动态一览

HyperAI超神经
HyperAI超神经 · 2025-10-17T08:28:04Z
Ateme 推出 DR5000e Kyrion 解码器

Ateme推出的DR5000e解码器专为高质量直播设计,具备超低延迟和高可靠性,支持双通道UHD解码,兼容多种工作流程,并集成BISS-CA保护功能,确保安全贡献。该设备预计于2025年第四季度上市。

Ateme 推出 DR5000e Kyrion 解码器

实时互动网
实时互动网 · 2025-10-16T02:11:56Z
FFmpeg 获得对 AHX、ADPCM Silicon Graphics N64 解码器的支持

FFmpeg 项目通过手写汇编语言提升性能,并新增对90年代末 AHX 音频文件的支持,同时为 Nintendo 64 添加了 ADPCM 解码器,支持多种其他格式。

FFmpeg 获得对 AHX、ADPCM Silicon Graphics N64 解码器的支持

实时互动网
实时互动网 · 2025-09-24T02:00:54Z
深入探讨大型模型 1:Transformer,大型模型的基础

本文探讨了Transformer模型的基础,重点解决序列建模问题。Transformer通过多头自注意力机制和位置编码,克服了传统RNN和CNN在并行计算及长距离依赖捕捉上的不足。文章分析了Transformer的架构,强调了自注意力和交叉注意力在信息处理中的重要性。

深入探讨大型模型 1:Transformer,大型模型的基础

木鸟杂记
木鸟杂记 · 2025-09-10T13:45:26Z
  • <<
  • <
  • 1 (current)
  • 2
  • 3
  • >
  • >>
👤 个人中心
在公众号发送验证码完成验证
登录验证
在本设备完成一次验证即可继续使用

完成下面两步后,将自动完成登录并继续当前操作。

1 关注公众号
小红花技术领袖公众号二维码
小红花技术领袖
如果当前 App 无法识别二维码,请在微信搜索并关注该公众号
2 发送验证码
在公众号对话中发送下面 4 位验证码
小红花技术领袖俱乐部
小红花·文摘:汇聚分发优质内容
小红花技术领袖俱乐部
Copyright © 2021-
粤ICP备2022094092号-1
公众号 小红花技术领袖俱乐部公众号二维码
视频号 小红花技术领袖俱乐部视频号二维码