Apple Machine Learning Research
·
超级叠加提示：改进和加速检索增强生成
内容提要
大型语言模型（LLMs）在处理长文本时存在显著缺陷，推理成本与序列长度呈二次关系。为解决这些问题，提出了一种新的RAG提示方法，超级叠加提示，可应用于预训练的基于Transformer的LLMs。该方法提高了多个预训练LLMs在问答基准测试中的时间效率，并在检索到的上下文较大时显著提高准确性。在NaturalQuestions-Open数据集上，使用MPT-7B指令调整模型，相对于朴素的RAG方法，我们的方法在计算时间上减少了93倍，准确性提高了43%。
关键要点
-
大型语言模型（LLMs）在处理长文本时存在显著缺陷，推理成本与序列长度呈二次关系。
-
LLMs在某些实际文本处理应用中部署成本高，尤其是在检索增强生成（RAG）中。
-
LLMs还存在“干扰现象”，即提示中的无关上下文会降低输出质量。
-
提出了一种新的RAG提示方法，超级叠加提示，可直接应用于预训练的基于Transformer的LLMs。
-
超级叠加提示允许LLM在并行提示路径中处理输入文档，丢弃无关路径。
-
该方法在多个问答基准测试中提高了时间效率，并在检索到的上下文较大时显著提高准确性。
-
在NaturalQuestions-Open数据集上，使用MPT-7B指令调整模型，相对于朴素的RAG方法，计算时间减少了93倍，准确性提高了43%。
延伸问答
超级叠加提示是什么？
超级叠加提示是一种新的RAG提示方法，允许大型语言模型在并行提示路径中处理输入文档，丢弃无关路径。
大型语言模型在处理长文本时存在哪些缺陷？
大型语言模型在处理长文本时推理成本与序列长度呈二次关系，并且存在干扰现象，导致输出质量下降。
超级叠加提示如何提高时间效率和准确性？
超级叠加提示通过并行处理输入文档并丢弃无关路径，提高了多个问答基准测试中的时间效率和准确性。
在NaturalQuestions-Open数据集上，超级叠加提示的表现如何？
在NaturalQuestions-Open数据集上，使用MPT-7B指令调整模型时，计算时间减少了93倍，准确性提高了43%。
为什么大型语言模型的部署成本高？
大型语言模型的推理成本随着序列长度的增加而显著上升，导致在某些实际应用中的部署成本高。
超级叠加提示是否需要对模型进行微调？
超级叠加提示可以直接应用于预训练的基于Transformer的LLMs，无需微调。
