本文比较了自回归语言模型（ARMs）与扩散语言模型（DLMs）的性能。DLMs通过并行生成令牌提高算术强度，但长上下文扩展不佳；块状解码可改善此问题。批处理推理中，ARMs因序列并行优势吞吐量更高。减少采样步数是DLMs降低延迟的关键。

谷歌AI团队发布了DiffusionGemma，一个260亿参数的开源文本生成模型。该模型采用文本扩散技术，支持并行生成，速度比传统自回归模型快4倍，适用于在线编辑、快速迭代和长文档分析等场景。尽管生成速度快，但输出质量低于标准Gemma 4，谷歌建议在生产中使用后者。

AI领袖Andrej Karpathy指出，Inception Labs的扩散模型在并行生成令牌方面表现出色，速度比自回归模型快5到10倍，适用于编码和语音应用。Inception专注于高效的API集成，成本低，适合多种用例。

vLLM-Omni是一个高效的推理框架，支持文本、图像、视频和音频输入，具备低延迟执行能力。它适用于多模态助手、大规模媒体处理和实时多媒体应用，支持非自回归架构和并行生成模型。