RunningHub 为 MiniMax H3 开源模型推出 H3 Lightning 加速方案，结合后训练加速模型、SageAttention2、Cache-DiT、torch.compile 及 TP2+Ulysses4 多卡并行，在无 NVLink 的 PCIe 多卡环境下实现约 12 倍提速，5 秒视频生成时间从 348.8 秒降至 28.7 秒，并保留 BF16 精度。该方案已开源，可降低创作者试错成本。

DeepSeek 开源高性能 TopK 算子库 DeepSelect，针对稀疏注意力中的闪电索引器和采样器两个场景优化，速度可达 torch.topk 的 2 至 20 倍。该库不绑定推理框架，可通过 pip 直接替换，结果稳定，并支持关闭排序和返回值以进一步提速，助力 V4.1 Flash 推理大幅加速。

美团智播数字人直播的核心难点在于稳定支撑大规模并发，而非形象逼真。文章强调推理加速以控制算力成本，身份一致性是可信度与合规问题，需自动检测与兜底策略。普通团队应先从窄链路试点，配好监控与人工接管，再决定扩展，落地需解决调度、缓存等工程问题。

推测式程序化工具调用（sPTC）是一种在生成代码时预启动工具调用的技术，尤其适用于子代理或子LLM等高延迟工具。通过影子REPL解析部分代码，缓存工具输出，可重叠计算与生成，提升推理速度约1-1.2倍。实现需处理字面量、依赖变量及条件循环等场景，并控制安全性与开销。该技术对本地模型和编码代理尤为有效，未来可结合JIT编译进一步优化。

mlx-dspack项目在Mac上通过投机解码技术，将Qwen3.8-27B模型推理速度提升至3倍，8-bit量化下性能优于4-bit。项目基于DeepSeek的DSpark和z-lab的DFlash，支持自动调参优化草稿长度。实测显示8-bit加投机解码比4-bit普通解码快39%，但加速效果受硬件、量化方式和MLX版本影响，长上下文和内存限制仍是瓶颈。

中科院团队提出GMC核心集剪枝方法，解决视觉语言模型Token冗余问题。该方法免训练，通过互补证据筛选和群体信息传输，保留关键视觉信息，减少80%以上Token，性能保持99%以上，并抑制幻觉，兼容Qwen、LLaVA等模型，提升推理速度，降低显存占用。

移远通信在WAIC 2026上宣布升级端侧AI大模型方案，聚焦多模态感知与推理加速。新增视觉大模型，使设备具备听懂、看懂和自主决策能力，应用于智能制造、智能座舱等领域。引入MTP和SD技术，推理速度提升至2倍，生成速度从25增至50+ tokens/s，加速AI商业化落地。

DeepSeek与北京大学联合发布了论文《DSpark》，提出了一种新的推理加速框架。DSpark通过半自回归架构和基于置信度的验证，显著提高了生成速度，单用户生成速度提升57%至85%。该框架在真实用户流量中表现优异，解决了大模型推理中的延迟问题，并优化了候选token的生成和验证过程。DeepSeek还开源了DSpark的模型权重和相关代码库。

本文介绍了镜像推测解码（Mirror-SD）算法，该算法通过并行处理和多令牌推测流来加速大型语言模型（LLM）的推理，打破了延迟与接受率之间的权衡。Mirror-SD在多种任务中实现了2.8到5.8倍的速度提升，并在性能上超越了现有基线EAGLE3，满足了快速高效推理的需求。

Gemma 3n正式发布，专注于移动设备的AI应用。采用Per-Layer Embeddings技术减少RAM需求，同时保持参数数量。MatFormer技术支持模型嵌套，允许选择完整模型或子模型。此外，Gemma 3n引入KV缓存共享，加速推理时间，并具备音频和视频编码能力，支持自动语音识别和翻译。