大语言模型推理工程旨在降低延迟、提升吞吐、减少内存。本文推荐5个实践项目：从零构建迷你vLLM、用Triton编写FlashAttention内核、搭建量化实验、实现投机解码、构建生产级推理服务，帮助深入理解KV缓存、连续批处理、量化等优化技术。

本文综述大语言模型推理与分类法归纳研究，涵盖：用强化学习从术语自动构建分类法，祖先F1提升19.6%；迭代提示增强多步推理；思维链提示显著提升数学与常识推理；提示法构建分类法优于微调；分层图模型为思维链提供理论收敛保证；Iter-CoT可自主纠错；逐次引导提升法律文本分类；MCMC-EM微调优于STaR。

该文综述大语言模型推理研究，涵盖HtT规则库、Logic-Scaffolding、因果结构学习等框架，PrOntoQA数据集，以及反思层、程序生成和贝叶斯学习模型。研究发现模型推理受任务、输出与输入概率影响，归纳推理中善于提出假设但弱于筛选应用规则。

该文综述多智能体辩论（MAD）如何提升大语言模型的推理与真实性：多个模型实例反复辩论以达成共识，从而改善数学与策略推理、减少虚假答案与幻觉；在医学问答中权衡成本、时间与准确性，并提出基于一致性的新辩论策略；ChatEval 以多代理裁判模拟人类评估；MAD 还能缓解思维定式，提升常识翻译与反直觉算术推理。文中亦涉及自我对弈辩论、红队攻防与提示工程研究，表明精心设计的提示可接近复杂多智能体系统的性能。