小红花·文摘
  • 首页
  • AI Tokens🪙
  • 排行榜🏆
  • 直播
  • FAQ
沉浸式翻译 immersive translate
Dify.AI
投机解码详解:如何让任意大语言模型实现3倍速推理

投机解码通过“草稿—验证”机制加速大模型推理:小模型快速生成候选token,大模型并行验证,保证输出分布与原模型一致。瓶颈在显存带宽而非算力,接受率约70%—80%时可达2—3倍加速。Medusa、Eagle、Prompt Lookup等变体无需独立草稿模型。该技术适合长输出、低并发场景,高批量服务可能降低吞吐。

投机解码详解:如何让任意大语言模型实现3倍速推理

MachineLearningMastery.com MachineLearningMastery.com · 2026-10-23T11:00:00Z
微软确认已通过最新更新修复Windows 11 AC-3解码引起的游戏和应用崩溃问题

微软确认9月22日发布的预览更新KB5124010破坏了Windows 11内置AC-3杜比数字音频解码器,导致调用该解码器的旧版应用、媒体播放器和部分游戏出现启动失败或运行中崩溃。10月更新KB5127648已修复此问题,适用于24H2/25H2/26H2版,安装最新更新即可;未安装预览更新的用户不受影响。

微软确认已通过最新更新修复Windows 11 AC-3解码引起的游戏和应用崩溃问题

蓝点网 蓝点网 · 2026-10-20T07:30:59Z

论文研究现代大语言模型中的早退解码,即中间层能否提前输出词元以节省算力。作者提出EAS评分衡量各层相似度与可跳过比例,并通过“神谕”实验测试。结果显示,多数新模型可跳过空间极小:Llama3-8B仅0.18%,Qwen2-7B为0,GPT-OSS-20B最高7.26%。结论是早退收益递减,部署前需先测量。

当答案姗姗来迟:现代大语言模型中的早退解码

Louis Aeilot's Blog Louis Aeilot's Blog · 2026-10-12T01:30:00Z
DeepSeek-V4.1 模型结构(6):解码,DSpark

DeepSeek-V4.1 的 DSpark 是在主干模型后挂载的三层草稿模块,一次前向生成 5 个草稿 token:Markov head 补充 token 间依赖,confidence head 估计接受概率,调度器按负载决定送验数量。文章讲解投机解码的接受规则、并行草稿越靠后越不准的原因、阈值随负载变化,以及按置信度截断保持输出分布的条件。

DeepSeek-V4.1 模型结构(6):解码,DSpark

Java不加糖's Blog Java不加糖's Blog · 2026-10-02T13:00:00Z
Firefox 157 现已发布,支持 WebRTC 硬件 AV1 解码,并带来视觉上的全新体验

Firefox 157 发布,最大亮点是 Nova UI,对浏览器面板、侧边栏和菜单进行视觉革新。新版支持 WebRTC 视频通话硬件 AV1 解码,修复 HDR 视频问题,改进变速播放时的音视频同步,并移除亚马逊内置搜索引擎。

Firefox 157 现已发布,支持 WebRTC 硬件 AV1 解码,并带来视觉上的全新体验

实时互动网 实时互动网 · 2026-09-29T01:55:41Z
Jev决策引擎解析:单次前向传播替代自回归解码,推理70毫秒

TypeSafe AI推出Jev决策引擎,跳过逐字解码,通过单次前向传播并行输出类型化决策,延迟约70毫秒,比主流大模型快193倍、便宜444倍。该引擎支持动态schema,并用RLCD强化学习校准置信度,适用于意图分类等直觉判断,但缺乏思维链,难以进行深度推理,字段间也无条件依赖。

Jev决策引擎解析:单次前向传播替代自回归解码,推理70毫秒

极道 极道 · 2026-09-18T04:20:00Z
vLLM 新增支持 NVIDIA GPU 硬件视频解码,多 GPU 视频描述吞吐最高提升一倍以上

vLLM 通过集成 PyNvVideoCodec 正式支持 NVIDIA GPU 硬件视频解码(NVDEC),将视频解码从 CPU 迁移至 GPU,解决视频描述任务的 CPU 瓶颈。在 8 块 H100 配置下,吞吐量达 CPU 解码两倍以上;此前不足 4 卡即受制于 CPU,现瓶颈消除。该功能随标准 CUDA 版 vLLM 提供,需安装 PyNvVideoCodec==2.0.4,并建议先启动 CUDA MPS 守护进程。

vLLM 新增支持 NVIDIA GPU 硬件视频解码,多 GPU 视频描述吞吐最高提升一倍以上

实时互动网 实时互动网 · 2026-09-18T03:37:17Z
火狐浏览器v156.0版发布 新的IDCT缩放功能可以加快JPEG图像解码速度并降低内存占用

火狐浏览器v156.0正式版发布,新增libjpeg-turbo IDCT缩放功能,使大型JPEG图像解码速度翻倍、内存占用降低约20%。同时修复了内置VPN断网、DoH下HTTP网站无法加载、画中画字幕异常、B站MP4 FLAC音频播放失败及书签拖出文件夹等问题。用户可通过自动更新或离线安装包升级。

火狐浏览器v156.0版发布 新的IDCT缩放功能可以加快JPEG图像解码速度并降低内存占用

蓝点网 蓝点网 · 2026-09-16T01:15:19Z
模型不同上下文的解码速度

AI模型移植测试显示,Qwen 3.8 Flash Next在265K上下文时解码最快,Qwen 3.8 27B在512K上下文时解码最快,建议将上下文调至最优值。

模型不同上下文的解码速度

Andy Stewart Andy Stewart · 2026-09-14T16:00:00Z

fastalp 是纯 Rust 实现的 ALP 浮点无损压缩算法,面向时序数据库与 IoT。相比 C++ 原版,端到端压缩提速 2.58 倍,解压达 25.3 GB/s,压缩比提升 60%,准常量数据可达 744 倍。核心优化包括三级剪枝、单遍寄存器解码、精确除法、自适应 Delta 及硬件舍入,支持零堆分配与 no_std。

fastalp: 纯 Rust 打造的下一代 ALP 浮点无损压缩 — 25 GB/s 极速解码、压缩比提升 60%、压缩提速 2.6x

Rust.cc Rust.cc · 2026-09-11T08:22:15Z
快手H.266/VVC视频解码核心专利获中国专利银奖

快手关联公司达佳互联的H.266/VVC视频解码专利荣获中国专利银奖,创该标准专利获奖最佳成绩。该专利创新三角分割预测技术,解决硬件开销难题,提升压缩效率。快手已参与国际标准制定,专利布局全球,推动技术标准化和产业化。

快手H.266/VVC视频解码核心专利获中国专利银奖

实时互动网 实时互动网 · 2026-09-03T01:57:26Z

DSpark是一种投机解码技术,通过并行草稿与轻量级顺序组件结合,提升LLM生成速度。在llama.cpp中测试Qwen3-8B,启用DSpark后生成速度从95.0提升至124.9 tokens/s,约31.5%加速。尽管MTP更通用,DSpark在草稿质量上占优,但模型支持有限,适合实验。

使用DSpark投机解码加速LLM推理

KDnuggets KDnuggets · 2026-08-31T14:00:00Z
英特尔 ANV 驱动程序改进了 Vulkan 视频 H.265 解码

Intel ANV Vulkan 视频的H.265解码此前不符合Vulkan规范,因在CPU解析比特流。最新Mesa 26.3代码通过加载Intel HuC固件,改用GPU解析,确保合规。该修复由Igalia工程师主导,已合并,将随下一季度发布,对多数用户无额外负担。

英特尔 ANV 驱动程序改进了 Vulkan 视频 H.265 解码

实时互动网 实时互动网 · 2026-08-28T02:08:47Z

本文探讨大语言模型解码策略,指出在相同模型权重下,贪心、Beam Search、temperature、top-k/top-p/min-p及重复惩罚等参数显著影响输出质量、风格与幻觉风险。文章分析各策略的几何直觉、失效条件及组合陷阱,强调高似然不等于高质量,并讨论重复惩罚对专有名词和代码的副作用,以及解码算法评测缺乏统一标准的问题。

【Transformer 与注意力机制】48|从 logits 到文本:解码策略是决策层,不是收尾细节

土法炼钢兴趣小组的博客 土法炼钢兴趣小组的博客 · 2026-08-06T00:00:00Z
解码策略与输出控制

本文介绍语言模型解码策略与输出控制。解码算法将模型logits转为文本,影响生成质量。主要方法包括:贪心解码(确定性但可能单调)、温度采样(控制随机性)、Top-k与核采样(过滤低概率词)、重复惩罚(减少重复)、束搜索(多候选但成本高)、停止条件及结构化输出约束(如JSON)。选择合适策略需平衡质量与性能。

解码策略与输出控制

MachineLearningMastery.com MachineLearningMastery.com · 2026-08-03T14:36:17Z
使用Transformer模型:从训练到推理

本文介绍Transformer模型从训练到推理的差异。训练处理批量固定长度序列并更新权重,推理则固定权重逐token生成。推理分为预填充和解码两阶段,预填充一次性处理提示词,解码逐token生成。KV缓存存储先前token的键值,避免重复计算,将解码注意力成本从二次方降为线性。文章还讨论了KV缓存的内存占用及管理优化。

使用Transformer模型:从训练到推理

MachineLearningMastery.com MachineLearningMastery.com · 2026-07-31T14:22:34Z

本文介绍实用约束解码(结构化生成),通过有限状态机在推理时屏蔽非法token,强制LLM输出符合JSON、正则等格式。以outlines库为例,展示如何用Pydantic模型约束输出,保证语法正确、节省提示词token,并提升小模型可靠性。虽首次运行较慢,但整体高效,适合需严格格式的场景。

实用约束解码入门指南

KDnuggets KDnuggets · 2026-07-28T14:00:30Z
dav1d 1.5.4 为 OS/2 带来 AV1 解码功能

VideoLAN 发布 dav1d 1.5.4,新增 OS/2 支持,优化 Armv9.3-A GCS、AArch64、RISC-V 等架构性能,改进非 POSIX 系统可移植性,提升线程效率,预计算量化矩阵表,增强开源 AV1 解码器性能。

dav1d 1.5.4 为 OS/2 带来 AV1 解码功能

实时互动网 实时互动网 · 2026-07-24T02:32:45Z
7-Zip 的 XZ 解码漏洞,真正该紧张的是自动解压链路

7-Zip XZ解码存在堆缓冲区溢出漏洞,评分7.0,可能导致远程代码执行。风险主要在自动解压链路,如上传附件、CI缓存等。建议排查7z调用点、输入来源和隔离措施,升级补丁并限制文件大小、嵌套层数等,防止路径穿越和解压炸弹。

7-Zip 的 XZ 解码漏洞,真正该紧张的是自动解压链路

mongona news mongona news · 2026-07-21T22:38:52Z
Firefox 153 版本发布,支持 Vulkan 视频解码,并实验性支持 JPEG-XL 格式

Firefox 153.0正式版发布,作为最新ESR版本,新增Vulkan视频解码支持,改善Linux上NVIDIA等显卡的视频加速。同时增强PDF功能,支持JPEG-XL实验性选项及Windows HDR视频播放,面向企业用户提供长期稳定性。

Firefox 153 版本发布,支持 Vulkan 视频解码,并实验性支持 JPEG-XL 格式

实时互动网 实时互动网 · 2026-07-21T02:20:40Z
  • <<
  • <
  • 1 (current)
  • 2
  • 3
  • >
  • >>
👤 个人中心
在公众号发送验证码完成验证
登录验证
在本设备完成一次验证即可继续使用

完成下面两步后,将自动完成登录并继续当前操作。

1 关注公众号
小红花技术领袖公众号二维码
小红花技术领袖
如果当前 App 无法识别二维码,请在微信搜索并关注该公众号
2 发送验证码
在公众号对话中发送下面 4 位验证码
友情链接: MOGE.AI 九胧科技 1tok 菜鸟教程 Remio.AI DeekSeek连连 53AI 神龙海外代理IP IPIPGO全球代理IP 东波哥的博客 匡优考试在线考试系统 开源服务指南 蓝莺IM Solo 独立开发者社区 AI酷站导航 极客Fun 我爱水煮鱼 周报生成器 He3.app 简单简历 白鲸出海 T沙龙 职友集 TechParty 蟒周刊 Best AI Music Generator 模力方舟 Gitee AI

小红花技术领袖俱乐部
小红花·文摘:汇聚分发优质内容
小红花技术领袖俱乐部
Copyright © 2021-
粤ICP备2022094092号-1
公众号 小红花技术领袖俱乐部公众号二维码
视频号 小红花技术领袖俱乐部视频号二维码