适用于对话的不同技术方法评估：微调还是 RAG？
内容提要
本文探讨了通过精调和检索增强生成（RAG）技术提升大型语言模型（LLM）在问答系统中的表现。研究表明，RAG在知识密集型任务中优于精调，结合微调的嵌入模型可提高准确性。使用长上下文和RAG策略能改善模型在复杂对话中的表现，但仍未达到人类水平。
延伸解读
RAG与微调的核心差异
文章指出，RAG在知识密集型任务中始终优于微调，而微调模型在问答能力上能超越零-shot LLM。但微调难以让LLM学习新的事实信息，通过暴露同一事实的多个变体可缓解。这提示选择方法时需权衡任务类型：若需注入新知识，RAG更可靠；若需提升特定格式或推理能力，微调可能更有效。
组合策略的增益与局限
在RAG中结合微调的嵌入模型与微调的LLM，可获得比通用模型更高的准确性，其中微调嵌入模型带来的收益相对更大。在RAG之上使用推理迭代能进一步提升性能，使系统更接近人类专家水平。然而，即使采用长上下文或RAG，模型在理解冗长对话和长程因果动态上仍远落后于人类。
评估与数据构建的挑战
文章提到，LLM在教育评估中的一致性和评分结果存在显著差异，需进一步比较研究以确定准确性和成本效益。同时，为评估长期记忆，研究者通过机器-人类管道构建了包含300个回合、平均9K记号的对话数据集，并发现LLM在理解长程时间和因果动态方面存在挑战。这表明高质量评估基准和人工校验对推动对话系统进步至关重要。
Q&A
什么是检索增强生成（RAG）技术？
检索增强生成（RAG）技术是一种结合检索和生成的问答方法，能够在知识密集型任务中提升大型语言模型的表现。
微调和RAG在问答系统中的表现有何不同？
研究表明，RAG在知识密集型任务中优于微调，尤其是在处理新的事实信息时，微调模型难以学习。
如何提高大型语言模型的问答准确性？
结合微调的嵌入模型与RAG策略可以显著提高大型语言模型的问答准确性，尤其是在复杂对话中。
使用长上下文对模型性能有何影响？
使用长上下文和RAG策略可以改善模型在复杂对话中的表现，但仍未达到人类水平。
在教育评估中，LLM的表现如何？
研究发现，LLM在评估大学生开放式问题答案时的一致性和评分结果存在显著差异，需进一步比较研究。
如何定制LLM以应对低频实体的问答任务？
通过结合RAG和微调方法，可以有效定制LLM以应对低频实体的问答任务，显著提升性能。
