在线级联学习以提高流式推理效率
内容提要
本文综述大语言模型高效推理与终身学习研究，涵盖在线类增量学习的贝叶斯框架、基于答案一致性判断难度的LLM级联模型（以40%成本达到强模型性能）、使分布式系统提速10倍的容错推理与负载均衡算法，以及DSL统计推断、TStreamLLM流处理、两阶段上下文学习和响应长度调度（吞吐提升86%）等方法。
延伸解读
级联模型如何实现成本节约
文章指出，通过检查较弱LLM的“答案一致性”来判断问题难度，并据此决定是否调用更强模型，这种级联策略在六个推理基准上达到与强模型相当的性能，但成本仅40%。这提示我们，在实际部署中，可以优先使用低成本模型处理简单查询，仅对复杂查询启用高成本模型，从而在保证效果的同时显著降低推理开销。
分布式推理的容错与负载均衡
针对大语言模型推理，研究开发了容错推理算法和负载平衡协议，能自动分配设备以最大化系统吞吐量。在Petals分散式系统中，这些算法使运行速度比离线处理快10倍，并通过模拟和跨两大洲的真实场景验证。这表明，在分布式环境中，容错和负载均衡是提升推理效率的关键，尤其适合地理分布广泛的部署场景。
响应长度调度提升吞吐量
文章提出一种推理流水线方法，利用LLM预测响应长度，并对长度相似的查询进行微批处理，从而在不影响效果的前提下将推理吞吐量提高86%。该方法可与FlashAttention、量化等现有工具包结合使用。这为优化推理服务提供了新思路：通过预测输出长度来调度请求，能更充分地利用计算资源，减少等待时间。
Q&A
LLM级联模型如何实现成本节约？
通过构建LLM级联模型，使用较弱但更便宜的LLM解决简单问题，仅将复杂问题交给更强大且昂贵的LLM。关键是通过检查较弱LLM的“答案一致性”来判断问题难度，并采用答案采样和一致性检查方法，其中一种混合了Chain-of-Thought和Program-of-Thought两种思考表示。在六个推理基准数据集上，该模型达到与单独使用强LLM相当的性能，但仅需40%的成本。
如何提高大语言模型推理的吞吐量？
提出一种高效的大语言模型推理流水线方法，利用大语言模型准确感知和预测响应长度，并通过引入有效的序列调度技术对响应长度相似的查询进行微批处理，从而实现了86%的推理吞吐量提高，同时不影响效果。该方法是现有工具包（如FlashAttention、Quantization）的宝贵补充。
分布式系统如何加速大型语言模型推理？
开发了特殊的容错推理算法和负载平衡协议，用于自动分配设备以最大化系统总吞吐量，并在Petals分散式系统中应用，能够以比离线处理快10倍的速度运行大型语言模型。通过模拟条件和跨越两大洲的真实场景评估了系统性能。
在线类增量学习中的终身学习问题如何解决？
在动态环境中，针对在线、单通、类增的情况，利用基于贝叶斯的框架和在线内存回访的有效方法来解决这个挑战性的lifelong learning问题，实验证明该方法超越了此前的研究成果。
如何利用LLM输出进行有效的下游统计分析？
提出了一种名为DSL的算法，旨在使用从LLMs获得的输出进行下游统计分析，同时保证CSS研究所需要的统计特性。该算法运用双重鲁棒性流程将代理标签与少量的金标准标签相结合，从而保证有效的统计推断。
如何增强大语言模型的上下文学习能力？
提出一种有效的、高效的两阶段方法，利用Transformer注意力和梯度下降优化之间的双重形式，将上下文学习过程分为'Thinking'和推理阶段，通过递归前向优化演示来增强LLMs的推理能力，并将得到的元梯度通过注意力应用于最终的输出预测中，从而有效、高效地适应下游任务。
