投机解码通过“草稿—验证”机制加速大模型推理:小模型快速生成候选token,大模型并行验证,保证输出分布与原模型一致。瓶颈在显存带宽而非算力,接受率约70%—80%时可达2—3倍加速。Medusa、Eagle、Prompt Lookup等变体无需独立草稿模型。该技术适合长输出、低并发场景,高批量服务可能降低吞吐。
微软确认9月22日发布的预览更新KB5124010破坏了Windows 11内置AC-3杜比数字音频解码器,导致调用该解码器的旧版应用、媒体播放器和部分游戏出现启动失败或运行中崩溃。10月更新KB5127648已修复此问题,适用于24H2/25H2/26H2版,安装最新更新即可;未安装预览更新的用户不受影响。
论文研究现代大语言模型中的早退解码,即中间层能否提前输出词元以节省算力。作者提出EAS评分衡量各层相似度与可跳过比例,并通过“神谕”实验测试。结果显示,多数新模型可跳过空间极小:Llama3-8B仅0.18%,Qwen2-7B为0,GPT-OSS-20B最高7.26%。结论是早退收益递减,部署前需先测量。
DeepSeek-V4.1 的 DSpark 是在主干模型后挂载的三层草稿模块,一次前向生成 5 个草稿 token:Markov head 补充 token 间依赖,confidence head 估计接受概率,调度器按负载决定送验数量。文章讲解投机解码的接受规则、并行草稿越靠后越不准的原因、阈值随负载变化,以及按置信度截断保持输出分布的条件。
Firefox 157 发布,最大亮点是 Nova UI,对浏览器面板、侧边栏和菜单进行视觉革新。新版支持 WebRTC 视频通话硬件 AV1 解码,修复 HDR 视频问题,改进变速播放时的音视频同步,并移除亚马逊内置搜索引擎。
TypeSafe AI推出Jev决策引擎,跳过逐字解码,通过单次前向传播并行输出类型化决策,延迟约70毫秒,比主流大模型快193倍、便宜444倍。该引擎支持动态schema,并用RLCD强化学习校准置信度,适用于意图分类等直觉判断,但缺乏思维链,难以进行深度推理,字段间也无条件依赖。
vLLM 通过集成 PyNvVideoCodec 正式支持 NVIDIA GPU 硬件视频解码(NVDEC),将视频解码从 CPU 迁移至 GPU,解决视频描述任务的 CPU 瓶颈。在 8 块 H100 配置下,吞吐量达 CPU 解码两倍以上;此前不足 4 卡即受制于 CPU,现瓶颈消除。该功能随标准 CUDA 版 vLLM 提供,需安装 PyNvVideoCodec==2.0.4,并建议先启动 CUDA MPS 守护进程。
火狐浏览器v156.0正式版发布,新增libjpeg-turbo IDCT缩放功能,使大型JPEG图像解码速度翻倍、内存占用降低约20%。同时修复了内置VPN断网、DoH下HTTP网站无法加载、画中画字幕异常、B站MP4 FLAC音频播放失败及书签拖出文件夹等问题。用户可通过自动更新或离线安装包升级。
AI模型移植测试显示,Qwen 3.8 Flash Next在265K上下文时解码最快,Qwen 3.8 27B在512K上下文时解码最快,建议将上下文调至最优值。
fastalp 是纯 Rust 实现的 ALP 浮点无损压缩算法,面向时序数据库与 IoT。相比 C++ 原版,端到端压缩提速 2.58 倍,解压达 25.3 GB/s,压缩比提升 60%,准常量数据可达 744 倍。核心优化包括三级剪枝、单遍寄存器解码、精确除法、自适应 Delta 及硬件舍入,支持零堆分配与 no_std。
快手关联公司达佳互联的H.266/VVC视频解码专利荣获中国专利银奖,创该标准专利获奖最佳成绩。该专利创新三角分割预测技术,解决硬件开销难题,提升压缩效率。快手已参与国际标准制定,专利布局全球,推动技术标准化和产业化。
DSpark是一种投机解码技术,通过并行草稿与轻量级顺序组件结合,提升LLM生成速度。在llama.cpp中测试Qwen3-8B,启用DSpark后生成速度从95.0提升至124.9 tokens/s,约31.5%加速。尽管MTP更通用,DSpark在草稿质量上占优,但模型支持有限,适合实验。
Intel ANV Vulkan 视频的H.265解码此前不符合Vulkan规范,因在CPU解析比特流。最新Mesa 26.3代码通过加载Intel HuC固件,改用GPU解析,确保合规。该修复由Igalia工程师主导,已合并,将随下一季度发布,对多数用户无额外负担。
本文探讨大语言模型解码策略,指出在相同模型权重下,贪心、Beam Search、temperature、top-k/top-p/min-p及重复惩罚等参数显著影响输出质量、风格与幻觉风险。文章分析各策略的几何直觉、失效条件及组合陷阱,强调高似然不等于高质量,并讨论重复惩罚对专有名词和代码的副作用,以及解码算法评测缺乏统一标准的问题。
本文介绍语言模型解码策略与输出控制。解码算法将模型logits转为文本,影响生成质量。主要方法包括:贪心解码(确定性但可能单调)、温度采样(控制随机性)、Top-k与核采样(过滤低概率词)、重复惩罚(减少重复)、束搜索(多候选但成本高)、停止条件及结构化输出约束(如JSON)。选择合适策略需平衡质量与性能。
本文介绍Transformer模型从训练到推理的差异。训练处理批量固定长度序列并更新权重,推理则固定权重逐token生成。推理分为预填充和解码两阶段,预填充一次性处理提示词,解码逐token生成。KV缓存存储先前token的键值,避免重复计算,将解码注意力成本从二次方降为线性。文章还讨论了KV缓存的内存占用及管理优化。
本文介绍实用约束解码(结构化生成),通过有限状态机在推理时屏蔽非法token,强制LLM输出符合JSON、正则等格式。以outlines库为例,展示如何用Pydantic模型约束输出,保证语法正确、节省提示词token,并提升小模型可靠性。虽首次运行较慢,但整体高效,适合需严格格式的场景。
VideoLAN 发布 dav1d 1.5.4,新增 OS/2 支持,优化 Armv9.3-A GCS、AArch64、RISC-V 等架构性能,改进非 POSIX 系统可移植性,提升线程效率,预计算量化矩阵表,增强开源 AV1 解码器性能。
7-Zip XZ解码存在堆缓冲区溢出漏洞,评分7.0,可能导致远程代码执行。风险主要在自动解压链路,如上传附件、CI缓存等。建议排查7z调用点、输入来源和隔离措施,升级补丁并限制文件大小、嵌套层数等,防止路径穿越和解压炸弹。
Firefox 153.0正式版发布,作为最新ESR版本,新增Vulkan视频解码支持,改善Linux上NVIDIA等显卡的视频加速。同时增强PDF功能,支持JPEG-XL实验性选项及Windows HDR视频播放,面向企业用户提供长期稳定性。
完成下面两步后,将自动完成登录并继续当前操作。