本文探讨大语言模型推理延迟问题，涵盖预填充与解码两阶段及TTFT、TPOT指标。提出七种优化方法：模型量化、KV缓存、投机解码、连续批处理、剪枝蒸馏、优化推理引擎及提示压缩缓存。强调组合应用这些技术可显著降低延迟，但需权衡成本与复杂度，以提升生成式AI应用效率。

本研究分析了深度神经网络训练中不同优化方法的收敛速度，结果显示Adam优化器收敛速度较快，而RMSprop较慢。这为优化算法的选择提供了理论依据，提升了深度学习模型的训练效率。

本研究提出了一种快速方法，通过结合相邻标记嵌入来优化预训练的静态词嵌入，有效解决词汇缺失问题，增强特定领域应用的多样性，并改善风暴相关术语的表示效果。

本研究提出了多智能体框架CircuitMind，旨在提升大型语言模型在硬件设计中的效率。通过语法锁定、检索增强生成和双重奖励优化等方法，实验结果显示55.6%的模型达到了或超过了顶尖人类专家的效率，为硬件优化开辟了新路径。

本研究探讨了在难以解决的Max3Sat实例中，通过操纵子句满足性特征来连接高质量局部最优解的方法。实验结果表明，该方法在解决特定Max3Sat实例时显著优于现有优化方法。

本研究提出了一种直接文档相关性优化方法（DDRO），有效解决了现有生成信息检索模型在文档级相关性捕捉上的不足。实验结果显示，DDRO在多个基准数据集上优于基于强化学习的方法，显著提升了信息检索的有效性。

华东师大与东华大学的研究综述分析了大模型智能体的优化方法，分为参数驱动和无关参数两类。参数驱动方法包括微调和强化学习，无关参数方法则通过Prompt和工具调用来优化智能体行为。研究总结了LLM智能体在多个领域的应用及面临的挑战，强调了优化的重要性及未来研究方向。

本研究探讨了大型语言模型（LLMs）在复杂任务中的推理效率，特别是长推理链的计算开销。论文系统性调查了提升LLMs推理效率的多种方法，包括模型、输出和输入提示的优化，以及高效数据的培训。

本研究综述了大语言模型（LLM）智能体在复杂环境中的优化方法，分为参数驱动和无参数策略，分析了细化、强化学习及混合策略的关键要素，并提出了数据集和评估标准，为未来研究指明方向。这些优化技术显著提升了智能体在长期规划和复杂决策中的表现。

本研究提出了一种新型的二阶优化方法SASSHA，旨在提高泛化能力。SASSHA通过降低解决方案的尖锐性和稳定海森矩阵的近似计算，展现出优于其他方法的泛化性能。

本研究探讨了测试时间计算扩展的优化方法，比较了基于验证与无验证的方法。结果表明，基于验证的方法在相同预算下表现更优，且随着预算增加，两者性能差距扩大，为高效计算扩展提供了理论支持。

本研究综述了大型语言模型在逻辑推理中的不足，分析了推理范式和评估标准，并提出了优化逻辑推理的新方法，为AI系统的发展指明方向。

本文提出了一种基于信息检索原则的直接优化方法（LarPO），有效解决了大语言模型的对齐难题。研究表明，该方法在AlpacaEval2和MixEval-Hard上分别提升了38.9%和13.7%的对齐质量，为未来研究指明了方向。