小红花·文摘
  • 首页
  • AI Tokens🪙
  • 排行榜🏆
  • 直播
  • FAQ
沉浸式翻译 immersive translate
Dify.AI

本研究提出了一种评估框架,针对大型语言模型在商业智能应用中的语义幻觉和结构错误问题。通过对219个自然语言商业问题的基准评估,发现Exaone 3.5在简单任务中表现良好,但在复杂任务中显著退化,强调了验证事实一致性的必要性。

Fact Consistency Evaluation of Business Intelligence Text-to-SQL Generation Based on Exaone 3.5

BriefGPT - AI 论文速递 BriefGPT - AI 论文速递 · 2025-04-30T00:00:00Z

本研究提出模块化机器学习(MML),旨在解决大型语言模型在推理、事实一致性和可解释性方面的局限性。通过分解模型结构,MML增强逆事实推理能力,减少幻觉现象,促进公平、安全和透明性,推动可信赖的人工智能系统发展。

模块化机器学习:通向新一代大型语言模型的重要路径

BriefGPT - AI 论文速递 BriefGPT - AI 论文速递 · 2025-04-28T00:00:00Z

本研究提出了一种基于检索的框架,以解决大型语言模型生成幻觉输出的问题。通过将用户查询转化为逻辑表示,并利用检索增强生成(RAG)评估前提有效性,显著提高了输出的事实一致性和准确性。实验结果表明,该方法有效减少了幻觉现象。

Don't Let It Hallucinate: Premise Verification via Retrieval-Augmented Logical Reasoning

BriefGPT - AI 论文速递 BriefGPT - AI 论文速递 · 2025-04-08T00:00:00Z

本研究提出了一种个性化新闻标题生成框架(FPG),旨在解决事实一致性不足的问题。FPG通过评估候选新闻与历史点击新闻的相似性,平衡个性化与一致性,并利用对比学习增强标题的事实一致性。实验结果表明,FPG在个性化与事实一致性方面具有显著优势。

保真实际的个性化新闻标题生成

BriefGPT - AI 论文速递 BriefGPT - AI 论文速递 · 2025-01-21T00:00:00Z

该研究提出了新的数据集SummEdits,以解决现有基准测试的缺陷。尽管大型语言模型(LLM)在该数据集上的表现不佳,但仍显示出推理和事实一致性方面的能力差距。研究强调了不确定性量化的重要性,发现LLM的置信度往往不稳定,指出改进模型参数化知识的必要性。

大型语言模型评估者对于不确定性表达的鲁棒性研究:揭示认知标记对大型语言模型评估的影响

BriefGPT - AI 论文速递 BriefGPT - AI 论文速递 · 2024-10-28T00:00:00Z

本文介绍了AlignScore指标,用于评估大型语言模型在事实一致性方面的表现。研究表明,AlignScore在测试中优于其他标准,并提出了LongAlign框架以提升长篇背景任务的处理能力。此外,SAFE方法通过LLM代理评估长篇事实的准确性,显示出超人类的评级性能。

FactAlign:大规模语言模型的长文本事实对齐

BriefGPT - AI 论文速递 BriefGPT - AI 论文速递 · 2024-10-02T00:00:00Z

该研究提出了一种弱监督模型,用于验证文本摘要的事实一致性,评估生成摘要与原文的冲突。研究通过多个评估指标和新型度量标准,展示了不同方法在事实一致性评估中的性能,特别是AlignScore和FFLM在检测不一致性和忠实度评分方面的优势。

跨领域零-shot事实一致性评估

BriefGPT - AI 论文速递 BriefGPT - AI 论文速递 · 2024-08-07T00:00:00Z

本研究探讨了大型语言模型(DLM)在摘要事实一致性评估中的应用,发现针对DLM的提示方法优于现有系统。通过零样本策略,提出三种矛盾检测方法,实验表明合理的设计能提升模型性能。研究引入TreatFact数据集,评估了11个LLM的事实一致性,发现开源模型有提升潜力,并提出新指标FFLM,改善生成模型的忠实度评估。

通过滑动生成和自我一致性提升大型语言模型在摘要生成中的真实性

BriefGPT - AI 论文速递 BriefGPT - AI 论文速递 · 2024-07-31T00:00:00Z

本文介绍了一种新方法FActScore,用于评估生成文本的真实性。该方法通过将文本分解为原子事实,并计算可靠来源支持的事实比例来进行评估。同时,研究提出了LongDocFACTScore框架,能够有效评估长文档的事实一致性,且在与人工测量对比中表现优于现有标准。此外,研究还指出大型语言模型在生成文本时存在的事实准确性问题,并提出D-FActScore以改善评估效果。

VERISCORE:评估长文生成的可验证主张的真实性

BriefGPT - AI 论文速递 BriefGPT - AI 论文速递 · 2024-06-27T00:00:00Z

该研究提出了一种弱监督模型,用于验证摘要的事实一致性,解决文献与生成摘要之间的冲突。通过零样本策略评估三种矛盾检测方法,并设计高效训练策略以提高摘要评分准确性。同时,研究提出了基于事实感知的自动摘要模型FASum,有效纠正事实错误,提升摘要质量。此外,FineGrainFact方法用于细粒度事实错误检测,表现优于基线模型。

FIZZ:Zoom-in 摘要和 Zoom-out 文档的事实不一致性检测

BriefGPT - AI 论文速递 BriefGPT - AI 论文速递 · 2024-04-17T00:00:00Z

本研究提出了长文本自动摘要的人工评估指南LongEval,旨在提高评估信度并减少评估者工作量。调研162篇论文发现,神经文本生成模型在生成摘要时容易产生虚假内容。研究还探索了大型语言模型在评估摘要事实一致性方面的应用,提出了新指标FFLM和FIB基准,发现现有模型在一致性评分上存在问题。最终,强调了改进评估方法的重要性,以提升摘要的可信度和准确性。

FABLES:评估长篇书籍摘要的忠实性与内容选择

BriefGPT - AI 论文速递 BriefGPT - AI 论文速递 · 2024-04-01T00:00:00Z

本研究探讨大型语言模型(LLMs)在评估文本生成摘要的事实一致性方面的有效性与局限性。通过知识图谱建立评估框架,发现ChatGPT表现最佳,但LLMs在事实检测上仍存在不足。研究分析了事实性错误的原因,提出改进方法,并强调评估模型事实可靠性的重要性。

使用大规模知识图谱评估大型语言模型的真实性

BriefGPT - AI 论文速递 BriefGPT - AI 论文速递 · 2024-04-01T00:00:00Z

本研究提出三种零样本策略以解决矛盾检测问题,并评估大型语言模型的有效性。实验结果表明,合理设计的范式能够使模型在无需训练的情况下超越强基线。此外,研究还推出了新的数据集和基准,探讨模型在事实一致性评估中的表现,发现现有模型在检测不一致性方面存在不足。

SIFiD:基于 LLM 的摘要事实不一致检测再评估

BriefGPT - AI 论文速递 BriefGPT - AI 论文速递 · 2024-03-12T00:00:00Z

本文探讨了大型语言模型(LLM)在法律领域的应用及评估方法。研究表明,LLM在法律判决预测中表现良好,但在事实一致性评分上存在局限性。通过微调和引入新基准,提升了LLM在法律任务中的表现。同时,研究揭示了人类和LLM评判者的偏见,强调了开发更健壮评估系统的必要性。

LLM 评估中作为法官的 LLM 的经验研究:精调法官模型是任务特定的分类器

BriefGPT - AI 论文速递 BriefGPT - AI 论文速递 · 2024-03-05T00:00:00Z

本文综述自动摘要事实一致性评估研究,涵盖TreatFact临床数据集、FactPICO医学基准、InFusE推理评估、DeFacto信息反馈、GO FIGURE框架、ClozE填空模型及大模型评估方法,指出开源模型仍落后,现有指标与专家判断相关性差,临床摘要不一致性难以捕捉。

FENICE: 基于自然语言推理和主张提取的摘要真实性评估

BriefGPT - AI 论文速递 BriefGPT - AI 论文速递 · 2024-03-04T00:00:00Z

本文综述大语言模型评估摘要事实一致性的研究。TreatFact数据集表明现有方法和LLM评估器均难以捕捉临床摘要的不一致。研究提出Facet评估、GPTScore等方法,发现指令微调比模型规模更关键,适当提示可使LLM无需训练超越基线,但LLM仍存在将不一致摘要误判为高分的风险。

科学摘要评估的反思:在面向因素的基准上建立可解释指标

BriefGPT - AI 论文速递 BriefGPT - AI 论文速递 · 2024-02-22T00:00:00Z

该文综述大型语言模型在医疗文本处理中的应用:利用GPT生成合成数据提升临床笔记摘要的事实一致性;提出FACT-GPT自动匹配社交媒体声明以辅助事实核查;探索ChatGPT用于生物命名实体识别与关系抽取,缓解数据隐私问题;评估LLM摘要的事实性,发现幻觉严重,但LLM可作事实验证器,与人类判断高度相关。

SYNFAC-EDIT:临床摘要的事实对齐的合成模仿编辑反馈

BriefGPT - AI 论文速递 BriefGPT - AI 论文速递 · 2024-02-21T00:00:00Z

该文综述放射学报告自动生成研究,涵盖多模态框架、条件交叉注意力融合、疾病定向检索与事实一致性生成、弱监督对比损失、SAM分割与监督对比学习、纵向表示学习及小样本病变引导等方法,可提升临床信息提取F1、ROUGE-L及报告完整一致性;人工评估确认准确性,但细节与临床背景仍需改进。

ICON: 通过病灶感知混合增强改善放射学报告生成的报告内一致性

BriefGPT - AI 论文速递 BriefGPT - AI 论文速递 · 2024-02-20T00:00:00Z

本文综述了提升抽象摘要事实一致性的方法,包括后处理校正、事实感知生成、反事实去偏见、对抗数据增广和弱监督验证,实验表明这些方法能有效减少事实错误并提高摘要质量。

通过数据提炼和条件生成填空改进抽象摘要的事实错误修正

BriefGPT - AI 论文速递 BriefGPT - AI 论文速递 · 2024-02-13T00:00:00Z

该文综述多项研究,探讨大型语言模型的事实一致性问题,涉及多样本自一致性评估、命题竞辩框架、事实问答近义词库及语义一致性度量,并利用模型评估摘要事实性。研究表明,检索增强和扩展可减少不一致,但语法形式等因素仍影响模型判断,现有模型在常识推理中差异显著。

利用大型语言模型和 sheaves 检测不一致性的前景

BriefGPT - AI 论文速递 BriefGPT - AI 论文速递 · 2024-01-30T00:00:00Z
  • <<
  • <
  • 1 (current)
  • 2
  • >
  • >>
👤 个人中心
在公众号发送验证码完成验证
登录验证
在本设备完成一次验证即可继续使用

完成下面两步后,将自动完成登录并继续当前操作。

1 关注公众号
小红花技术领袖公众号二维码
小红花技术领袖
如果当前 App 无法识别二维码,请在微信搜索并关注该公众号
2 发送验证码
在公众号对话中发送下面 4 位验证码
友情链接: MOGE.AI 九胧科技 1tok 菜鸟教程 Remio.AI DeekSeek连连 53AI 神龙海外代理IP IPIPGO全球代理IP 东波哥的博客 匡优考试在线考试系统 开源服务指南 蓝莺IM Solo 独立开发者社区 AI酷站导航 极客Fun 我爱水煮鱼 周报生成器 He3.app 简单简历 白鲸出海 T沙龙 职友集 TechParty 蟒周刊 Best AI Music Generator 模力方舟 Gitee AI

小红花技术领袖俱乐部
小红花·文摘:汇聚分发优质内容
小红花技术领袖俱乐部
Copyright © 2021-
粤ICP备2022094092号-1
公众号 小红花技术领袖俱乐部公众号二维码
视频号 小红花技术领袖俱乐部视频号二维码