百度发布了ERNIE-Image和ERNIE-Image-Turbo开源模型，前者为完整版本，后者为高效蒸馏版，推理速度更快。用户可在星河社区免费体验，适用于海报制作等实际场景，模型使用简单，适合开发者快速上手。

硅心科技推出的aiX-apply-4B模型在代码变更应用中表现优异，准确率达到93.8%，推理速度提升15倍，且仅需一张显卡即可高效运行，解决了企业算力不足的问题。

上海交通大学研究团队在语义通信架构方面取得进展，提出了MambaJSCC架构，该架构具有线性复杂度和内生信道自适应特性，显著提升了传输性能和推理速度，为6G网络提供了新方案。

本文介绍了自回归变换器推理中键值（KV）缓存的作用，如何通过缓存已计算的键和值来消除冗余计算，从而显著提高生成速度，推理速度提升可达3-5倍。尽管内存使用增加，但在实际应用中，这种提升是值得的。理解KV缓存为进一步优化推理提供了基础。

近日，一家公司推出了将大模型直接写入ASIC芯片的技术，推理速度达到17000 Token/s，耗电和成本比英伟达显卡低10倍。这种ASIC有望改变算力竞争格局，未来可能主导大模型推理，而GPU则回归训练和通用计算。

本文介绍了推测解码的工作原理及其在大型语言模型推理中的应用。推测解码通过小型草稿模型生成多个候选标记，并利用大型目标模型并行验证，从而显著提高推理速度，达到2-3倍的加速效果。该方法有效解决了内存带宽瓶颈问题，适用于翻译、摘要等任务。选择合适的草稿模型是实现最佳效果的关键。

DeploySharp 0.0.8 版本升级，支持 PP-OCR v4/v5 模型，RTX 3060 上推理速度可达 23ms。该框架为 C# 开发者提供跨平台模型部署解决方案，集成 OpenVINO、TensorRT 和 ONNX Runtime，简化模型加载和推理，提高开发效率。

本文介绍了如何将PyTorch、scikit-learn和TensorFlow/Keras模型导出为ONNX格式，并比较了PyTorch与ONNX Runtime在CPU上的推理准确性和速度。文章详细描述了在CIFAR-10数据集上微调ResNet-18模型、验证数值一致性以及将其他框架模型转换为ONNX格式的步骤。结果表明，ONNX在保持相同预测质量的同时，提供了更快的推理速度，简化了模型的部署过程。

vLLM-Omni更新了性能，支持Cache-DiT和TeaCache等缓存加速方法，显著提升扩散模型推理速度，图像生成速度提高1.5到2倍，质量损失极小。Cache-DiT在图像编辑任务中表现尤为突出，速度提升可达2.38倍。

小米发布了开源模型MiMo-V2-Flash，参数达到3090亿，采用专家混合架构，推理速度为150 tokens/秒，成本低至0.1美元/百万token。该模型在数学推理和编程能力上表现优异，支持深度思考和联网搜索，适用于多种开发环境，标志着小米在AI领域的重要进展。

Meta发布的SAM 3版本显著提升了分割模型的稳定性和准确性，优化了小物体和复杂环境的掩膜一致性，支持更快的推理速度，适用于AR/VR、科学成像和机器人感知等多种应用场景。该模型已开源，便于部署和集成。

vLLM的睡眠模式通过提供两种睡眠级别，解决了多模型服务中的GPU内存问题，优化了模型切换速度和内存使用。该模式可在几秒内休眠并快速唤醒，显著提升推理速度和效率，避免了传统模型重载带来的高延迟和资源浪费。