Cohere推出了动态推测解码技术，能够根据显卡状态实时调整猜字数量，从而解决了固定数量导致的速度瓶颈。该技术在不同批次大小下优化性能，提升推理速度，特别是在强化学习和大模型服务中表现突出。动态方案确保在各种环境下的稳定性，避免了传统方法的速度波动问题，并已整合进vLLM框架，用户可直接受益。

蚂蚁灵波发布了LingBot-VA 2.0，这是全球首个具身原生的预训练VA模型。该模型通过预判能力提升机器人在复杂任务中的表现，如桌面整理和轻柔抓取。LingBot-VA 2.0采用新一代VAE、因果预训练和稀疏MoE架构，显著提高了推理速度和实时控制能力，标志着机器人技术进入新阶段。

魔芯科技与华为等合作推出MoWorld，这是首个基于国产NPU的实时交互世界模型，推理速度超过50FPS，成本仅为同规模GPU的30%。MoWorld支持用户实时交互，适用于机器人和自动驾驶等领域，推动世界模型的产业化应用。

DeepSeek的新论文DSpark提出了一种通过系统工程和模型协同设计来提升大模型推理速度的方法。该方法利用GPU的特性进行连续批处理，结合小模型的快速猜测和大模型的验证，显著提高推理效率。DSpark通过优化草稿模型和动态调整验证长度，实现了端到端的性能提升，并已开源相关代码供开发者使用。

DeepSeek团队与北京大学联合发布了《DSpark》研究论文，提出了一种加速大模型推理的新方法。该技术在保持文本生成质量的同时，显著提升了推理速度，单用户生成速度提高85%。DSpark采用“半自回归生成”架构和置信度调度验证机制，优化了生成过程，减少了计算资源浪费，并已在DeepSeek-V4系统中应用，提升了推理效率。

DeepSeek的研究表明，通过让AI模型先“猜测”后续内容，再进行验证，可以显著提高推理速度。这种“猜测-验证”机制减少了计算量，并提高了准确率。与美国公司的保密技术不同，中国公司通过开源技术降低了AI模型的成本，使其更为普及。这一变化可能导致AI服务价格大幅下降，影响投资者对AI公司的预期。

Google DeepMind与牛津大学及UCL的研究团队提出了D4RT模型，旨在高效重建动态视频中的4D场景。该模型通过单次视频输入，利用灵活的查询机制，独立获取任意点的三维状态，显著提高了推理速度和效率，刷新了多项基准测试记录，为未来的4D视觉感知提供了新的范式。

小米推出了MiMo-V2.5-Pro-UltraSpeed模型，具备1T参数和1000+ TPS的推理速度，突破了GPU的性能限制。该模型在全栈开发任务中表现优异，能够快速生成高质量的复杂应用，推动了大模型的商业化进程。

小米MiMo-v2.5-Pro-UltraSpeed模型的推理速度达到每秒1000词，改变了人机互动方式。快速的AI提升了用户的对话和协作效率，而慢速模型则会导致思维中断，影响体验。未来，速度将成为AI智能的重要维度。

阶跃星辰推出的Step 3.7 Flash模型在速度和成本上表现优异，推理速度超过400 tokens/s，单任务成本仅为Claude Opus 4.6的1/9，适合企业级应用，推动AI商业化进程。

JetBrains发布了Mellum2，这是一个开源的12B参数编码模型，专注于AI系统的基础设施层。Mellum2支持更广泛的任务，如模型协调和子代理工作负载，采用混合专家架构以提升推理速度。该模型在代码生成任务中表现优异，但在广泛推理和知识评估方面略逊于其他模型。目前已在Hugging Face上发布，企业可选择自我托管。

本文讨论了大语言模型（LLM）推理速度的关键指标及其对用户体验的影响，强调选择合适模型和优化指标的重要性。介绍了TTFT、TTFAT、输出速度等六个性能指标，并提到语义缓存技术可以减少推理瓶颈，提高响应速度和降低成本。Redis作为实时数据平台，支持语义缓存和向量搜索，适合构建高效的GenAI应用。

蚂蚁集团的论文《LLaDA2.0-Uni》提出了一种离散扩散语言模型，旨在统一视觉理解和图像生成。该模型通过将图像压缩为离散语义token，并利用混合专家架构实现文本和视觉token的并行处理，显著提升推理速度。LLaDA2.0-Uni在视觉理解和图像生成任务上表现优异，展现出理解与生成的连续交互能力。

百度发布了ERNIE-Image和ERNIE-Image-Turbo开源模型，前者为完整版本，后者为高效蒸馏版，推理速度更快。用户可在星河社区免费体验，适用于海报制作等实际场景，模型使用简单，适合开发者快速上手。

硅心科技推出的aiX-apply-4B模型在代码变更应用中表现优异，准确率达到93.8%，推理速度提升15倍，且仅需一张显卡即可高效运行，解决了企业算力不足的问题。

上海交通大学研究团队在语义通信架构方面取得进展，提出了MambaJSCC架构，该架构具有线性复杂度和内生信道自适应特性，显著提升了传输性能和推理速度，为6G网络提供了新方案。

本文介绍了自回归变换器推理中键值（KV）缓存的作用，如何通过缓存已计算的键和值来消除冗余计算，从而显著提高生成速度，推理速度提升可达3-5倍。尽管内存使用增加，但在实际应用中，这种提升是值得的。理解KV缓存为进一步优化推理提供了基础。

近日，一家公司推出了将大模型直接写入ASIC芯片的技术，推理速度达到17000 Token/s，耗电和成本比英伟达显卡低10倍。这种ASIC有望改变算力竞争格局，未来可能主导大模型推理，而GPU则回归训练和通用计算。