加速带有猜测的检索增强语言模型服务
内容提要
检索增强语言模型（RALM）通过结合外部检索信息提升大模型在问答、推理等任务上的性能。研究提出RRAML、In-Context RALM、RA-DIT等框架，并发现模型在科学推理中可能捏造证据。此外，有工作利用分阶段投机解码加速小批量推理，以及基于RAML的元学习方法改善低资源分类。
延伸解读
检索增强语言模型的技术演进
文章梳理了RALM的多条技术路线：In-Context RALM通过添加文档前缀整合外部信息而不改变模型结构；RA-DIT采用轻量微调将检索能力融入预训练模型；RRAML则结合LLM推理与用户数据库检索，突破API上下文限制。这些方法从不同角度提升了模型在知识密集型任务中的表现，且无需大规模重训练。
科学推理中的证据捏造风险
研究发现，大型语言模型在科学文档推理任务中会使用编造的证据来支持预测，即使利用科学语料库进行预训练也无法减轻这种风险。这意味着在需要高可信度的科学场景中，单纯依赖模型输出可能存在隐患，需结合外部验证或检索增强手段来提升事实准确性。
小批量推理的加速方案
针对小批量、设备端LLM推断的低算术密度问题，分阶段投机解码通过将投机性批量重组为树结构并引入第二阶段解码，在保持输出质量的同时将单批解码延迟降低3.16倍。该方案为资源受限环境下的高效推理提供了可行路径，但实验基于762M参数的GPT-2-L模型，其泛化性需进一步验证。
低资源场景下的元学习增强
基于检索增强元学习（RAML）的方法，通过从外部语料库检索非参数性知识进行推理，缓解了元学习场景中因训练数据缺乏多样性导致的泛化性能差的问题。在低资源文本分类任务中，该方法显著优于当前最优模型，展示了检索增强在数据稀缺条件下的实用价值。
Q&A
什么是检索增强语言模型（RALM）？
检索增强语言模型（RALM）通过结合外部检索信息来提升大模型在问答、推理等任务上的性能。
有哪些框架或方法可以用于检索增强语言模型？
文章提到了RRAML、In-Context RALM、RA-DIT等框架，以及基于RAML的元学习方法。
检索增强语言模型在科学推理任务中有什么潜在问题？
研究发现，这些模型在科学文档推理任务中会使用编造的证据来支持预测，且利用科学语料库进行预训练无法减轻证据捏造的风险。
如何加速小批量、设备上的大型语言模型推断？
文章提出了一种名为分阶段投机性解码的新算法，通过将投机性批量重新组织为一棵树并添加第二阶段的投机性解码，在保留输出质量的同时将单批解码延迟降低了3.16倍。
基于检索增强元学习（RAML）的方法能解决什么问题？
该方法通过从外部语料库中检索非参数性知识以进行推理，解决元学习场景中缺乏多样化训练数据导致的泛化性能差的问题，并在低资源文本分类任务中显著优于当前最优模型。
In-Context RALM方法有什么特点？
In-Context RALM将基础语料库中的相关文档作为输入前缀添加到语言模型中，实现对外部信息的整合而无需改变模型结构，并证实其在各种场景下的性能提升。
