小米推出了MiMo-V2.5-Pro-UltraSpeed模型，具备1T参数和1000+ TPS的推理速度，突破了GPU的性能限制。该模型在全栈开发任务中表现优异，能够快速生成高质量的复杂应用，推动了大模型的商业化进程。

小米MiMo-v2.5-Pro-UltraSpeed模型的推理速度达到每秒1000词，改变了人机互动方式。快速的AI提升了用户的对话和协作效率，而慢速模型则会导致思维中断，影响体验。未来，速度将成为AI智能的重要维度。

阶跃星辰推出的Step 3.7 Flash模型在速度和成本上表现优异，推理速度超过400 tokens/s，单任务成本仅为Claude Opus 4.6的1/9，适合企业级应用，推动AI商业化进程。

JetBrains发布了Mellum2，这是一个开源的12B参数编码模型，专注于AI系统的基础设施层。Mellum2支持更广泛的任务，如模型协调和子代理工作负载，采用混合专家架构以提升推理速度。该模型在代码生成任务中表现优异，但在广泛推理和知识评估方面略逊于其他模型。目前已在Hugging Face上发布，企业可选择自我托管。

本文讨论了大语言模型（LLM）推理速度的关键指标及其对用户体验的影响，强调选择合适模型和优化指标的重要性。介绍了TTFT、TTFAT、输出速度等六个性能指标，并提到语义缓存技术可以减少推理瓶颈，提高响应速度和降低成本。Redis作为实时数据平台，支持语义缓存和向量搜索，适合构建高效的GenAI应用。

蚂蚁集团的论文《LLaDA2.0-Uni》提出了一种离散扩散语言模型，旨在统一视觉理解和图像生成。该模型通过将图像压缩为离散语义token，并利用混合专家架构实现文本和视觉token的并行处理，显著提升推理速度。LLaDA2.0-Uni在视觉理解和图像生成任务上表现优异，展现出理解与生成的连续交互能力。

百度发布了ERNIE-Image和ERNIE-Image-Turbo开源模型，前者为完整版本，后者为高效蒸馏版，推理速度更快。用户可在星河社区免费体验，适用于海报制作等实际场景，模型使用简单，适合开发者快速上手。

硅心科技推出的aiX-apply-4B模型在代码变更应用中表现优异，准确率达到93.8%，推理速度提升15倍，且仅需一张显卡即可高效运行，解决了企业算力不足的问题。

上海交通大学研究团队在语义通信架构方面取得进展，提出了MambaJSCC架构，该架构具有线性复杂度和内生信道自适应特性，显著提升了传输性能和推理速度，为6G网络提供了新方案。

本文介绍了自回归变换器推理中键值（KV）缓存的作用，如何通过缓存已计算的键和值来消除冗余计算，从而显著提高生成速度，推理速度提升可达3-5倍。尽管内存使用增加，但在实际应用中，这种提升是值得的。理解KV缓存为进一步优化推理提供了基础。

近日，一家公司推出了将大模型直接写入ASIC芯片的技术，推理速度达到17000 Token/s，耗电和成本比英伟达显卡低10倍。这种ASIC有望改变算力竞争格局，未来可能主导大模型推理，而GPU则回归训练和通用计算。

本文介绍了推测解码的工作原理及其在大型语言模型推理中的应用。推测解码通过小型草稿模型生成多个候选标记，并利用大型目标模型并行验证，从而显著提高推理速度，达到2-3倍的加速效果。该方法有效解决了内存带宽瓶颈问题，适用于翻译、摘要等任务。选择合适的草稿模型是实现最佳效果的关键。

DeploySharp 0.0.8 版本升级，支持 PP-OCR v4/v5 模型，RTX 3060 上推理速度可达 23ms。该框架为 C# 开发者提供跨平台模型部署解决方案，集成 OpenVINO、TensorRT 和 ONNX Runtime，简化模型加载和推理，提高开发效率。

本文介绍了如何将PyTorch、scikit-learn和TensorFlow/Keras模型导出为ONNX格式，并比较了PyTorch与ONNX Runtime在CPU上的推理准确性和速度。文章详细描述了在CIFAR-10数据集上微调ResNet-18模型、验证数值一致性以及将其他框架模型转换为ONNX格式的步骤。结果表明，ONNX在保持相同预测质量的同时，提供了更快的推理速度，简化了模型的部署过程。

vLLM-Omni更新了性能，支持Cache-DiT和TeaCache等缓存加速方法，显著提升扩散模型推理速度，图像生成速度提高1.5到2倍，质量损失极小。Cache-DiT在图像编辑任务中表现尤为突出，速度提升可达2.38倍。