研究表明,基础大型语言模型(LLMs)在开放领域问答任务中能够有效评估其语义信心,尽管未经过专门训练。文章提出了一种理论机制,解释了语义校准如何作为下一个标记预测的副产品,并通过实验验证了基础LLMs在问答任务中的语义校准性。
知识图谱表示现实世界的实体及其关系。多语言知识图谱构建(mKGC)旨在自动构建或预测缺失的实体和链接。本文将mKGC重构为问答任务,并引入基于检索增强生成的系统mRAKL。实验主要集中在低资源语言提格利尼亚语和阿姆哈拉语上,结果表明该方法在无上下文设置下显著提升了性能。
阿里通义实验室推出了ZeroSearch,这是一个基于强化学习的框架,无需真实搜索引擎。通过模拟搜索环境和轻量微调,该框架提升了大模型的检索能力,降低了API成本。实验结果显示,ZeroSearch在多种问答任务中表现优异,兼容多种强化学习算法,具备良好的训练稳定性和灵活性,为智能检索提供了新思路。
本研究提出了一种知识驱动的多代理框架m-KAILIN,旨在解决生物医学领域开放式注释科学语料数量和质量不足的问题。该框架通过合作多代理架构提取和合成高质量文本数据,显著提升生物医学问答任务的表现,生成的数据集在一定程度上超越了现有模型。
本研究提出了一种上下文增强层(CaLE)的方法,旨在提高大型语言模型在生成时的上下文一致性,特别是在问答任务中对未知或冲突信息的处理能力。
本文介绍了如何对DistilBERT进行微调以实现自定义问答任务。首先,使用SQuAD数据集进行数据准备和预处理,然后通过Trainer接口训练模型。微调过程包括加载数据集、定义训练参数、训练模型并保存结果,最终用户可以在其他项目中加载微调后的模型。
本研究针对视频理解中的数据不平衡问题,指出传统方法难以适应多样化情况。通过因果建模,提升视频关系检测和问答任务的鲁棒性与性能。
本研究提出了AttackSeqBench基准,用于评估大型语言模型对网络攻击序列的理解能力,简化了问答任务的构建,并分析了不同模型的优缺点。
本研究提出了一种无监督方法,利用语用学原理提升检索增强生成(RAG)模型的效果。通过识别与问题相关的重要句子并强化其地位,问答任务的表现显著提高,尤其在PubHealth任务中准确率提升了19.7%。
本研究提出了一种新方法EpMAN,旨在提升大型语言模型处理长上下文的效率。实验结果显示,EpMAN训练的模型在长上下文回忆和问答任务中表现更佳。
本研究提出了MAT-Steer框架,通过针对性干预多个属性,解决了现有推理干预方法在多属性冲突中的不足,显著提升了语言模型在问答和生成任务中的表现。
本研究提出了SMI指标,解决了封闭书籍问答任务中大型语言模型表现的预测问题,强调了数据构建和知识保持的挑战。实验证明SMI与模型准确性之间存在强线性相关性,为资源优化和数据对齐提供了重要见解。
本研究提出了一种针对低资源语言(如斯瓦希里语)的无训练数据语义网络生成算法,能够将主谓宾结构映射为三元组,并在问答任务中实现最高78.6%的准确率。
本研究提出SUGAR方法,旨在提升大型语言模型在检索增强生成中的效能。该方法通过上下文熵智能决策,增强检索选择性,改善多样化问答任务的表现。
该研究提出了一种新颖的多层最优传输方法,克服了现有知识蒸馏在教师和学生模型对齐标记器方面的局限性。该方法在抽取式问答、生成式问答和摘要任务中表现优异,超越了现有技术,展现出强鲁棒性。
本研究探讨大型语言模型(LLMs)在问答任务中的表现,提出单次推理提问方式以更有效处理不可回答的问题。结果表明,尽管小型微调模型在特定任务中表现更佳,但LLM在不同数据集上的泛化能力更强。
本研究提出了一种上下文过滤方法,通过奖励建模去除问答任务中的非必要信息,显著提升低资源环境下问答模型的有效性,EM Per Token指标提高了6.8倍。
本研究提出了一种均匀离散积分梯度(UDIG)方法,旨在克服现有积分梯度方法在离散特征空间中的局限性。该方法通过新颖的插值策略,在情感分类和问答任务中表现优于传统方法。
研究提出了Janus框架,通过大型语言模型整合图和文本数据,利用对比学习对齐模态空间,在问答任务中性能提升最高达11.4%。
本研究探讨了大型语言模型在多跳推理中的挑战,提出了上下文重复(CoRe)方法,通过优化支持文档的顺序,显著提升了多跳问答任务的性能,有效缓解了“困于中间”问题。
完成下面两步后,将自动完成登录并继续当前操作。