本文探讨大语言模型推理延迟问题，涵盖预填充与解码两阶段及TTFT、TPOT指标。提出七种优化方法：模型量化、KV缓存、投机解码、连续批处理、剪枝蒸馏、优化推理引擎及提示压缩缓存。强调组合应用这些技术可显著降低延迟，但需权衡成本与复杂度，以提升生成式AI应用效率。

本文介绍了physical intelligence公司推出的实时动作分块技术，旨在提升视觉-语言-动作模型（VLA）的实时控制能力。该技术通过异步机制和修复方法，解决了模型推理延迟和动作不连贯的问题，使机器人能够更精确地执行复杂任务。

本研究提出了一种新的语音推测解码（SSD）框架，旨在解决自回归语音合成模型的推理延迟问题。SSD通过轻量级草稿模型生成候选标记序列，推理速度提高了1.4倍，同时保持了高保真度和自然性。

华为提出OmniPlacement方法，通过优化混合专家模型中的专家分配，降低推理延迟约10%，提升吞吐量。该方法动态调整专家优先级、冗余部署和实时调度，解决专家负载不均的问题，确保高负载下系统稳定运行，并计划开源。

该研究提出了FORTRESS框架，旨在解决大型视觉和语言模型在处理分布外故障时的推理延迟问题，实时生成安全后备策略，从而提高系统安全性和规划成功率。

本研究提出了一种资源感知的Transformer架构分区算法，旨在解决边缘环境中大型语言模型推理的内存过载和高延迟问题。该算法动态更新分区决策，优化注意力头的分配与迁移，实验结果表明推理延迟与最优解相差仅15%至20%，显著提升了推理速度和内存效率。

本研究提出共享RAG-DCache，通过共享磁盘键值缓存管理，解决大型语言模型推理延迟问题。该方法在多实例环境下显著提高推理吞吐量，提升15~71%，延迟降低12~65%。

本研究提出了一种高效的草拟模型，解决了大语言模型在投机解码中的记忆需求、短训练数据与长上下文推理的挑战，显著提升了长上下文任务的性能并减少了推理延迟。

本文讨论了基于Transformer的文本嵌入模型在参数增加时的推理延迟和内存使用问题。提出的Nomic Embed v2是首个通用的专家混合文本嵌入模型，性能优于同类模型，具有重要的应用潜力。

本研究提出了一种改进的Chinchilla扩展法，通过优化模型参数、训练标记和结构，Morph-1B模型在保持准确性的同时，推理延迟效率提高了1.8倍。

本研究探讨了大型语言模型在飞行轨迹预测中的应用，重构问题和构建数据集显著提高了预测准确性，但高推理延迟限制了实时应用。

本研究提出RE-POSE框架，旨在解决边缘设备实时物体检测中的计算资源限制和深度神经网络的高需求问题。通过强化学习驱动的动态聚类算法，优化了检测精度与延迟，并采用并行边缘卸载方案，显著提高了检测精度，减少了推理延迟，性能优于现有方法。

本研究提出了一种新方法，通过在边缘设备与中央服务器之间划分深度神经网络，解决资源受限设备中的语义分割推理延迟问题，实现数据本地处理，显著降低延迟。