超级叠加提示：改进和加速检索增强生成
内容提要
大型语言模型（LLMs）在处理长文本时存在显著缺陷，推理成本与序列长度呈二次关系。为解决这些问题，提出了一种新的RAG提示方法，超级叠加提示，可应用于预训练的基于Transformer的LLMs。该方法提高了多个预训练LLMs在问答基准测试中的时间效率，并在检索到的上下文较大时显著提高准确性。在NaturalQuestions-Open数据集上，使用MPT-7B指令调整模型，相对于朴素的RAG方法，我们的方法在计算时间上减少了93倍，准确性提高了43%。
延伸解读
无需微调的直接应用
超级叠加提示可直接应用于预训练的基于Transformer的大语言模型，无需进行微调。这意味着现有模型无需额外训练即可受益，降低了部署门槛，尤其适合资源有限或需要快速迭代的RAG应用场景。
并行路径与无关丢弃机制
该方法让LLM在并行提示路径中处理输入文档，并丢弃被认为无关的路径。这种机制不仅减少了不必要的计算，还能避免无关上下文干扰，从而缓解LLM的“干扰现象”，提升输出质量。
效率与准确性的双重提升
在NaturalQuestions-Open数据集上，使用MPT-7B指令调整模型，超级叠加提示相比朴素RAG方法，计算时间减少了93倍，准确性提高了43%。这表明该方法在长上下文场景下能同时优化效率和效果，具有实际应用潜力。
长上下文场景的优势
当检索到的上下文远大于模型训练时的上下文长度时，超级叠加提示能显著提高准确性。这解决了传统RAG在长文本处理中推理成本高和输出质量下降的问题，为处理大规模文档提供了可行方案。
Q&A
超级叠加提示是什么？
超级叠加提示是一种新的RAG提示方法，允许大型语言模型在并行提示路径中处理输入文档，丢弃无关路径。
大型语言模型在处理长文本时存在哪些缺陷？
大型语言模型在处理长文本时推理成本与序列长度呈二次关系，并且存在干扰现象，导致输出质量下降。
超级叠加提示如何提高时间效率和准确性？
超级叠加提示通过并行处理输入文档并丢弃无关路径，提高了多个问答基准测试中的时间效率和准确性。
在NaturalQuestions-Open数据集上，超级叠加提示的表现如何？
在NaturalQuestions-Open数据集上，使用MPT-7B指令调整模型时，计算时间减少了93倍，准确性提高了43%。
为什么大型语言模型的部署成本高？
大型语言模型的推理成本随着序列长度的增加而显著上升，导致在某些实际应用中的部署成本高。
超级叠加提示是否需要对模型进行微调？
超级叠加提示可以直接应用于预训练的基于Transformer的LLMs，无需微调。
