超级叠加提示:改进和加速检索增强生成
原文英文,约200词,阅读约需1分钟。发表于: 。Despite the successes of large language models (LLMs), they exhibit significant drawbacks, particularly when processing long contexts. Their inference cost scales quadratically with respect to...
大型语言模型(LLMs)在处理长文本时存在显著缺陷,推理成本与序列长度呈二次关系。为解决这些问题,提出了一种新的RAG提示方法,超级叠加提示,可应用于预训练的基于Transformer的LLMs。该方法提高了多个预训练LLMs在问答基准测试中的时间效率,并在检索到的上下文较大时显著提高准确性。在NaturalQuestions-Open数据集上,使用MPT-7B指令调整模型,相对于朴素的RAG方法,我们的方法在计算时间上减少了93倍,准确性提高了43%。