本文探讨了提升大型语言模型（LLMs）推理效率的方法，包括自适应计算、动态资源分配和新解码算法。研究表明，通过优化计算预算和引入新策略，可以显著提高模型性能和计算效率，尤其在资源有限的环境中。

本文介绍了多种加速大型语言模型（LLM）推理的算法，包括递归推测解码、分阶段投机性解码和SpecInfer等。这些方法通过优化树结构、动态规划和并行处理，提高了解码速度和效率，同时保持模型的准确性。研究表明，这些技术在不同模型上实现了显著的加速效果。

本文介绍了一种名为DOMINO的解码算法，能够高效生成符合预期格式的文本，速度优化接近2倍。同时，研究提出了一种新的公差预测方法，结合概率约束编程模型和贝叶斯学习，提升了大型语言模型的生成质量和结构化输出能力。实验验证了该方法在多个文本生成任务中的有效性。

本文介绍了多种优化解码算法，包括使用CUDA提升RNN-T模型速度、并行重构贪心解码和引入Token-and-Duration Transducer框架。这些技术显著提高了解码速度和准确性，部分方法在GPU上实现了高达7倍的加速，推动了机器翻译和序列任务的效率提升。

该研究提出了一种解码算法，用于生成开放性文本。该算法采用遗忘机制和长度惩罚，以解决过度惩罚导致的过短句子问题。实验结果表明，该方法有效地提高了生成高质量句子的能力。

LogicalBeam是一种新的解码算法，可以解决自然语言查询中的SQL歧义性问题。相比于现有模型，LogicalBeam在生成SQL方面表现效果提升了最多2.5倍，并且在SPIDER和Kaggle DBQA上的Top-5精确度和执行匹配精确度也有所改善。

该文介绍了对Whisper语音识别模型的改进，通过在额外数据上微调和使用改进的解码算法，提高了在低资源语言方面的性能。使用Filter-Ends和Min Lookahead解码算法，WER相对于标准beam search平均减少了2.26。