小红花·文摘
  • 首页
  • 广场
  • 排行榜🏆
  • 直播
  • FAQ
Dify.AI
基于标记训练,基于概念校准:大型语言模型中语义校准的出现

研究表明,基础大型语言模型(LLMs)在开放领域问答任务中能够有效评估其语义信心,尽管未经过专门训练。文章提出了一种理论机制,解释了语义校准如何作为下一个标记预测的副产品,并通过实验验证了基础LLMs在问答任务中的语义校准性。

基于标记训练,基于概念校准:大型语言模型中语义校准的出现

Apple Machine Learning Research
Apple Machine Learning Research · 2026-03-24T00:00:00Z
mRAKL:面向低资源语言的多语言检索增强知识图谱构建

知识图谱表示现实世界的实体及其关系。多语言知识图谱构建(mKGC)旨在自动构建或预测缺失的实体和链接。本文将mKGC重构为问答任务,并引入基于检索增强生成的系统mRAKL。实验主要集中在低资源语言提格利尼亚语和阿姆哈拉语上,结果表明该方法在无上下文设置下显著提升了性能。

mRAKL:面向低资源语言的多语言检索增强知识图谱构建

Apple Machine Learning Research
Apple Machine Learning Research · 2025-07-25T00:00:00Z

阿里通义实验室推出了ZeroSearch,这是一个基于强化学习的框架,无需真实搜索引擎。通过模拟搜索环境和轻量微调,该框架提升了大模型的检索能力,降低了API成本。实验结果显示,ZeroSearch在多种问答任务中表现优异,兼容多种强化学习算法,具备良好的训练稳定性和灵活性,为智能检索提供了新思路。

通义实验室新研究:大模型自己「扮演」搜索引擎,提升推理能力无需搜索API

量子位
量子位 · 2025-05-17T04:23:54Z

本研究提出了一种知识驱动的多代理框架m-KAILIN,旨在解决生物医学领域开放式注释科学语料数量和质量不足的问题。该框架通过合作多代理架构提取和合成高质量文本数据,显著提升生物医学问答任务的表现,生成的数据集在一定程度上超越了现有模型。

m-KAILIN:面向生物医学大语言模型训练的知识驱动代理科学语料提取框架

BriefGPT - AI 论文速递
BriefGPT - AI 论文速递 · 2025-04-28T00:00:00Z

本研究提出了一种上下文增强层(CaLE)的方法,旨在提高大型语言模型在生成时的上下文一致性,特别是在问答任务中对未知或冲突信息的处理能力。

A Method for Enhancing the Utilization of Contextual Knowledge through an Information Availability Base Layer

BriefGPT - AI 论文速递
BriefGPT - AI 论文速递 · 2025-04-22T00:00:00Z
对DistilBERT进行微调以实现问答

本文介绍了如何对DistilBERT进行微调以实现自定义问答任务。首先,使用SQuAD数据集进行数据准备和预处理,然后通过Trainer接口训练模型。微调过程包括加载数据集、定义训练参数、训练模型并保存结果,最终用户可以在其他项目中加载微调后的模型。

对DistilBERT进行微调以实现问答

MachineLearningMastery.com
MachineLearningMastery.com · 2025-04-01T14:59:41Z

本研究针对视频理解中的数据不平衡问题,指出传统方法难以适应多样化情况。通过因果建模,提升视频关系检测和问答任务的鲁棒性与性能。

Causal Model-Based Video Semantic Understanding

BriefGPT - AI 论文速递
BriefGPT - AI 论文速递 · 2025-03-16T00:00:00Z

本研究提出了AttackSeqBench基准,用于评估大型语言模型对网络攻击序列的理解能力,简化了问答任务的构建,并分析了不同模型的优缺点。

AttackSeqBench:大规模语言模型对网络攻击序列模式理解的基准测试

BriefGPT - AI 论文速递
BriefGPT - AI 论文速递 · 2025-03-05T00:00:00Z

本研究提出了一种无监督方法,利用语用学原理提升检索增强生成(RAG)模型的效果。通过识别与问题相关的重要句子并强化其地位,问答任务的表现显著提高,尤其在PubHealth任务中准确率提升了19.7%。

少说多意:在检索增强生成中利用语用学

BriefGPT - AI 论文速递
BriefGPT - AI 论文速递 · 2025-02-25T00:00:00Z

本研究提出了一种新方法EpMAN,旨在提升大型语言模型处理长上下文的效率。实验结果显示,EpMAN训练的模型在长上下文回忆和问答任务中表现更佳。

EpMAN: A Plot Memory Attention Mechanism for Scaling to Longer Contexts

BriefGPT - AI 论文速递
BriefGPT - AI 论文速递 · 2025-02-20T00:00:00Z

本研究提出了MAT-Steer框架,通过针对性干预多个属性,解决了现有推理干预方法在多属性冲突中的不足,显著提升了语言模型在问答和生成任务中的表现。

Multi-Attribute Steering of Language Models via Targeted Intervention

BriefGPT - AI 论文速递
BriefGPT - AI 论文速递 · 2025-02-18T00:00:00Z

本研究提出了SMI指标,解决了封闭书籍问答任务中大型语言模型表现的预测问题,强调了数据构建和知识保持的挑战。实验证明SMI与模型准确性之间存在强线性相关性,为资源优化和数据对齐提供了重要见解。

Predicting the Performance of Large Language Models on Closed Book Question Answering Tasks Using Pre-training Available Information

BriefGPT - AI 论文速递
BriefGPT - AI 论文速递 · 2025-02-06T00:00:00Z

本研究提出了一种针对低资源语言(如斯瓦希里语)的无训练数据语义网络生成算法,能够将主谓宾结构映射为三元组,并在问答任务中实现最高78.6%的准确率。

Semantic Network Generation Algorithm for Low-Resource Languages (e.g., Swahili)

BriefGPT - AI 论文速递
BriefGPT - AI 论文速递 · 2025-01-16T00:00:00Z

本研究提出SUGAR方法,旨在提升大型语言模型在检索增强生成中的效能。该方法通过上下文熵智能决策,增强检索选择性,改善多样化问答任务的表现。

SUGAR: Achieving Smarter Retrieval through Contextual Confidence

BriefGPT - AI 论文速递
BriefGPT - AI 论文速递 · 2025-01-09T00:00:00Z

该研究提出了一种新颖的多层最优传输方法,克服了现有知识蒸馏在教师和学生模型对齐标记器方面的局限性。该方法在抽取式问答、生成式问答和摘要任务中表现优异,超越了现有技术,展现出强鲁棒性。

Multi-Level Optimal Transport Method for Universal Cross-Tokenizer Knowledge Distillation

BriefGPT - AI 论文速递
BriefGPT - AI 论文速递 · 2024-12-19T00:00:00Z

本研究探讨大型语言模型(LLMs)在问答任务中的表现,提出单次推理提问方式以更有效处理不可回答的问题。结果表明,尽管小型微调模型在特定任务中表现更佳,但LLM在不同数据集上的泛化能力更强。

A Study on the Performance of Large Language Models in Question-Answering Tasks

BriefGPT - AI 论文速递
BriefGPT - AI 论文速递 · 2024-12-17T00:00:00Z

本研究提出了一种上下文过滤方法,通过奖励建模去除问答任务中的非必要信息,显著提升低资源环境下问答模型的有效性,EM Per Token指标提高了6.8倍。

Context Filtering in Question Answering Based on Reward Modeling

BriefGPT - AI 论文速递
BriefGPT - AI 论文速递 · 2024-12-16T00:00:00Z

本研究提出了一种均匀离散积分梯度(UDIG)方法,旨在克服现有积分梯度方法在离散特征空间中的局限性。该方法通过新颖的插值策略,在情感分类和问答任务中表现优于传统方法。

Uniform Discretized Integrated Gradients: An Effective Attribution-Based Method for Explaining Large Language Models

BriefGPT - AI 论文速递
BriefGPT - AI 论文速递 · 2024-12-05T00:00:00Z

研究提出了Janus框架,通过大型语言模型整合图和文本数据,利用对比学习对齐模态空间,在问答任务中性能提升最高达11.4%。

Unlocking the Potential of Large Language Models as Multimodal Encoders for Text and Graph-Structured Data

BriefGPT - AI 论文速递
BriefGPT - AI 论文速递 · 2024-10-15T00:00:00Z

本研究探讨了大型语言模型在多跳推理中的挑战,提出了上下文重复(CoRe)方法,通过优化支持文档的顺序,显著提升了多跳问答任务的性能,有效缓解了“困于中间”问题。

Unleashing Multi-Hop Reasoning Potential in Large Language Models through Repetition of Misordered Context

BriefGPT - AI 论文速递
BriefGPT - AI 论文速递 · 2024-10-09T00:00:00Z
  • <<
  • <
  • 1 (current)
  • 2
  • >
  • >>
👤 个人中心
在公众号发送验证码完成验证
登录验证
在本设备完成一次验证即可继续使用

完成下面两步后,将自动完成登录并继续当前操作。

1 关注公众号
小红花技术领袖公众号二维码
小红花技术领袖
如果当前 App 无法识别二维码,请在微信搜索并关注该公众号
2 发送验证码
在公众号对话中发送下面 4 位验证码
小红花技术领袖俱乐部
小红花·文摘:汇聚分发优质内容
小红花技术领袖俱乐部
Copyright © 2021-
粤ICP备2022094092号-1
公众号 小红花技术领袖俱乐部公众号二维码
视频号 小红花技术领袖俱乐部视频号二维码