TaD+RAG-缓解大模型“幻觉”的组合新疗法
内容提要
京东和清华大学联合提出了任务感知解码技术（TaD）和检索增强生成技术（RAG）来解决大语言模型（LLM）的幻觉问题。TaD技术通过对比有监督微调前后的输出来缓解LLM的幻觉，具有广泛的适用场景。RAG技术通过引入第三方知识库来增强LLM的生成过程，降低幻觉。TaD和RAG技术在多个任务和数据集上都取得了显著的效果提升。京东已将TaD技术应用于知识问答系统，提供准确、高效的知识性问答服务。未来，需要在系统、知识和LLM层面进行更深入的探索，以进一步缓解LLM的幻觉问题。
延伸解读
幻觉根源与缓解思路
文章将LLM幻觉来源归纳为数据、训练和推理三个层面。数据缺陷可通过清洗和知识编辑缓解，但知识编辑可能影响模型泛化或引入有害输出；训练过程的问题源于模型结构和对齐阶段，优化手段通用性差；推理阶段的解码随机性和注意力缺陷可通过DoLa等对比解码技术缓解，但DoLa可能损害语法、导致重复，且不适用于有监督微调。这些分析为理解TaD的提出提供了背景。
TaD如何工作
TaD通过对比有监督微调前后LLM的输出概率分布差异来构建知识向量，从而强化微调阶段习得的领域特定知识，使输出更符合下游任务需求。该方法即插即用，无需修改模型结构，在多种LLM、微调方法和任务上均有效。特别地，当训练数据稀缺时，TaD带来的效果提升更显著，这为数据有限场景提供了实用价值。
RAG与TaD的互补关系
RAG通过检索外部知识库增强生成，能缓解因知识边界导致的幻觉，但最终输出仍由LLM生成，LLM自身的幻觉可能影响结果。TaD则直接针对LLM本身的幻觉，提升其输出质量。两者结合形成“组合疗法”，在京东知识问答系统中，TaD用于降低LLM幻觉，RAG注入事实性知识，共同提升系统准确性。
落地效果与未来方向
京东已将TaD+RAG应用于知识问答系统，接入6000+业务场景，提供准确高效的问答服务，节省人力开销。文章指出，幻觉无法彻底消除，未来需在系统、知识和LLM三个层面深入探索：系统层面可能走向RAG+Agent等复杂系统；知识层面需实现外部知识与LLM推理的深度融合；LLM层面则需继续研究低幻觉模型。
Q&A
TaD和RAG技术的主要目的是什么？
TaD和RAG技术旨在解决大语言模型（LLM）的幻觉问题，提升生成内容的准确性和可靠性。
TaD技术是如何缓解LLM幻觉的？
TaD技术通过对比微调前后的输出，利用知识向量来增强LLM在特定任务中的表现，从而缓解幻觉。
RAG技术的工作原理是什么？
RAG技术通过引入第三方知识库，增强LLM的生成过程，从而提高准确性并降低幻觉风险。
LLM幻觉问题的主要来源有哪些？
LLM幻觉问题主要源于数据、训练和推理过程的缺陷。
京东如何应用TaD技术？
京东已将TaD技术应用于知识问答系统，提供准确、高效的知识性问答服务。
未来在LLM幻觉问题上还有哪些探索方向？
未来需要在系统、知识和LLM层面深入探索，以进一步缓解LLM的幻觉问题。
