阿里通义实验室推出MaskSearch框架,提升大模型推理与搜索能力。小模型表现接近大模型,兼容监督微调和强化学习,显著提升开放域问答性能。通过检索增强型掩码预测任务,模型有效学习信息处理与搜索引擎使用,适应多领域任务。
本研究提出了RoleRAG统一框架,解决了检索增强生成(RAG)方法在多任务处理中的整合问题。通过角色特定令牌优化,该框架实现了高效的多任务处理,降低了资源消耗,并在开放域问答数据集上取得了良好效果。
本文介绍了一种段落排名器方法,提升开放域问答系统的性能,平均提高7.8%。研究提出了REAR方法,通过引入排名头和优化训练,显著提高检索效果,改善了大型语言模型的响应质量,解决了信息陈旧等问题。
本文研究了大型语言模型在知识依赖任务中的知识冲突问题,提出了COIECD和CD2等方法以提高模型的泛化性能和鲁棒性。研究表明,检索增强和自适应解码能够有效解决知识冲突,提升模型在开放域问答中的表现。
本文介绍了一种利用潜在知识检索器扩充语言模型预训练的方法,应用于开放域问答任务,取得良好效果。研究提出了M3-Embedding嵌入模型,支持多语言检索,具备多功能性和高效性,并通过专家路由器系统优化查询路由,提升查询效率和降低成本。
本文探讨了基于嵌入的检索模型及其在段落级预训练任务中的重要性。研究表明,检索增强语言模型(RALMs)在问答任务中表现优越,通过改进检索器与模型组件的交互,可以提高性能。提出的可训练综合检索器框架(EoR)有效减少了不一致性,显著提升了开放域问答的效果。
本研究提出了一种新颖的句子选择方法(FastFiD),用于解决开放域问答中推理效率低的问题。实验证明,该方法在保持模型性能的情况下,推理速度提升了2.3至5.7倍。
本文提出了一种名为Generator-Retriever-Generator (GRG)的新方法,结合文档检索技术与大型语言模型,旨在解决开放域问答中的挑战。GRG在多个数据集上表现优于现有方法,提升了答案的相关性和信息丰富性。同时,探讨了生成检索的关键发展及未来研究方向,并提出了新的学习框架FGD和无监督学习方法Grappa,以提高检索性能。
本文探讨了大型语言模型(LLMs)在上下文学习中的新算法,包括RICL、LARICL和HICL。这些方法通过优化输入提示和示例选择,提升了模型在信息提取和开放域问答中的性能。同时,研究分析了模型的鲁棒性及预训练语料库对变异性的影响,强调了语义相似演示的重要性。
本文综述了生成式信息检索(GenIR)的最新研究进展,包括生成式文档检索、可靠响应生成及其评估。提出了LTRGR框架和DGR框架,以提升生成式检索性能。研究还探讨了生成式检索的范式变革及其与判别式模型的比较,并提出了GRG方法,结合文档检索与大型语言模型,解决开放域问答挑战,表现优于现有方法。
本文提出了一种改进的开放域问答框架,采用KL散度正则化、后处理和课程学习策略,以提升问答性能。研究还探讨了知识辅助方法、领域转移评估及基于置信度的校准方法,显示在多个数据集上有显著效果改善。
本文介绍了一种新的对话框架MindDial,旨在提高对话系统在共同基础上的理解能力。研究提出了多种方法和模型,通过分析对话数据集,提升开放域问答的表现,并探讨在动态环境中创建和维护共同基础的挑战。
本文介绍了多种开放域问答(ODQA)模型的改进方法,包括RFiD、FILCO和KG-FiD。RFiD通过区分因果关系和虚假特征提升答案生成质量,FILCO利用信息论优化上下文,KG-FiD通过知识图谱过滤噪声段落。研究表明,结合上下文知识显著提升问答性能,并在多个任务上取得最佳结果。
本文提出了一种基于大型语言模型的自我点拨框架,可以在不需要训练数据和外部知识库的情况下实现开放域下的问答任务。实验结果表明,该方法在三个广泛使用的ODQA数据集上优于之前的最先进方法,平均提高了8.8个百分点,并且能够与多种检索增强的微调模型相比较的性能。
本文提出了一种基于大型语言模型的自我点拨框架,可以在不需要训练数据和外部知识库的情况下实现开放域下的问答任务。实验结果表明,该方法在三个广泛使用的 ODQA 数据集上优于之前的最先进方法,能够实现与多种检索增强的微调模型相比较的性能。
完成下面两步后,将自动完成登录并继续当前操作。