小红花·文摘
  • 首页
  • 广场
  • 排行榜🏆
  • 直播
  • FAQ
Dify.AI

本研究提出了一种评估框架,针对大型语言模型在商业智能应用中的语义幻觉和结构错误问题。通过对219个自然语言商业问题的基准评估,发现Exaone 3.5在简单任务中表现良好,但在复杂任务中显著退化,强调了验证事实一致性的必要性。

Fact Consistency Evaluation of Business Intelligence Text-to-SQL Generation Based on Exaone 3.5

BriefGPT - AI 论文速递
BriefGPT - AI 论文速递 · 2025-04-30T00:00:00Z

本研究提出模块化机器学习(MML),旨在解决大型语言模型在推理、事实一致性和可解释性方面的局限性。通过分解模型结构,MML增强逆事实推理能力,减少幻觉现象,促进公平、安全和透明性,推动可信赖的人工智能系统发展。

模块化机器学习:通向新一代大型语言模型的重要路径

BriefGPT - AI 论文速递
BriefGPT - AI 论文速递 · 2025-04-28T00:00:00Z

本研究提出了一种基于检索的框架,以解决大型语言模型生成幻觉输出的问题。通过将用户查询转化为逻辑表示,并利用检索增强生成(RAG)评估前提有效性,显著提高了输出的事实一致性和准确性。实验结果表明,该方法有效减少了幻觉现象。

Don't Let It Hallucinate: Premise Verification via Retrieval-Augmented Logical Reasoning

BriefGPT - AI 论文速递
BriefGPT - AI 论文速递 · 2025-04-08T00:00:00Z

本研究提出了一种个性化新闻标题生成框架(FPG),旨在解决事实一致性不足的问题。FPG通过评估候选新闻与历史点击新闻的相似性,平衡个性化与一致性,并利用对比学习增强标题的事实一致性。实验结果表明,FPG在个性化与事实一致性方面具有显著优势。

保真实际的个性化新闻标题生成

BriefGPT - AI 论文速递
BriefGPT - AI 论文速递 · 2025-01-21T00:00:00Z

该研究提出了新的数据集SummEdits,以解决现有基准测试的缺陷。尽管大型语言模型(LLM)在该数据集上的表现不佳,但仍显示出推理和事实一致性方面的能力差距。研究强调了不确定性量化的重要性,发现LLM的置信度往往不稳定,指出改进模型参数化知识的必要性。

大型语言模型评估者对于不确定性表达的鲁棒性研究:揭示认知标记对大型语言模型评估的影响

BriefGPT - AI 论文速递
BriefGPT - AI 论文速递 · 2024-10-28T00:00:00Z

本文介绍了AlignScore指标,用于评估大型语言模型在事实一致性方面的表现。研究表明,AlignScore在测试中优于其他标准,并提出了LongAlign框架以提升长篇背景任务的处理能力。此外,SAFE方法通过LLM代理评估长篇事实的准确性,显示出超人类的评级性能。

FactAlign:大规模语言模型的长文本事实对齐

BriefGPT - AI 论文速递
BriefGPT - AI 论文速递 · 2024-10-02T00:00:00Z

该研究提出了一种弱监督模型,用于验证文本摘要的事实一致性,评估生成摘要与原文的冲突。研究通过多个评估指标和新型度量标准,展示了不同方法在事实一致性评估中的性能,特别是AlignScore和FFLM在检测不一致性和忠实度评分方面的优势。

跨领域零-shot事实一致性评估

BriefGPT - AI 论文速递
BriefGPT - AI 论文速递 · 2024-08-07T00:00:00Z

本研究探讨了大型语言模型(DLM)在摘要事实一致性评估中的应用,发现针对DLM的提示方法优于现有系统。通过零样本策略,提出三种矛盾检测方法,实验表明合理的设计能提升模型性能。研究引入TreatFact数据集,评估了11个LLM的事实一致性,发现开源模型有提升潜力,并提出新指标FFLM,改善生成模型的忠实度评估。

通过滑动生成和自我一致性提升大型语言模型在摘要生成中的真实性

BriefGPT - AI 论文速递
BriefGPT - AI 论文速递 · 2024-07-31T00:00:00Z

本文介绍了一种新方法FActScore,用于评估生成文本的真实性。该方法通过将文本分解为原子事实,并计算可靠来源支持的事实比例来进行评估。同时,研究提出了LongDocFACTScore框架,能够有效评估长文档的事实一致性,且在与人工测量对比中表现优于现有标准。此外,研究还指出大型语言模型在生成文本时存在的事实准确性问题,并提出D-FActScore以改善评估效果。

VERISCORE:评估长文生成的可验证主张的真实性

BriefGPT - AI 论文速递
BriefGPT - AI 论文速递 · 2024-06-27T00:00:00Z

该研究提出了一种弱监督模型,用于验证摘要的事实一致性,解决文献与生成摘要之间的冲突。通过零样本策略评估三种矛盾检测方法,并设计高效训练策略以提高摘要评分准确性。同时,研究提出了基于事实感知的自动摘要模型FASum,有效纠正事实错误,提升摘要质量。此外,FineGrainFact方法用于细粒度事实错误检测,表现优于基线模型。

FIZZ:Zoom-in 摘要和 Zoom-out 文档的事实不一致性检测

BriefGPT - AI 论文速递
BriefGPT - AI 论文速递 · 2024-04-17T00:00:00Z

本研究提出了长文本自动摘要的人工评估指南LongEval,旨在提高评估信度并减少评估者工作量。调研162篇论文发现,神经文本生成模型在生成摘要时容易产生虚假内容。研究还探索了大型语言模型在评估摘要事实一致性方面的应用,提出了新指标FFLM和FIB基准,发现现有模型在一致性评分上存在问题。最终,强调了改进评估方法的重要性,以提升摘要的可信度和准确性。

FABLES:评估长篇书籍摘要的忠实性与内容选择

BriefGPT - AI 论文速递
BriefGPT - AI 论文速递 · 2024-04-01T00:00:00Z

本研究探讨大型语言模型(LLMs)在评估文本生成摘要的事实一致性方面的有效性与局限性。通过知识图谱建立评估框架,发现ChatGPT表现最佳,但LLMs在事实检测上仍存在不足。研究分析了事实性错误的原因,提出改进方法,并强调评估模型事实可靠性的重要性。

使用大规模知识图谱评估大型语言模型的真实性

BriefGPT - AI 论文速递
BriefGPT - AI 论文速递 · 2024-04-01T00:00:00Z

本研究提出三种零样本策略以解决矛盾检测问题,并评估大型语言模型的有效性。实验结果表明,合理设计的范式能够使模型在无需训练的情况下超越强基线。此外,研究还推出了新的数据集和基准,探讨模型在事实一致性评估中的表现,发现现有模型在检测不一致性方面存在不足。

SIFiD:基于 LLM 的摘要事实不一致检测再评估

BriefGPT - AI 论文速递
BriefGPT - AI 论文速递 · 2024-03-12T00:00:00Z

本研究评估了自动度量标准在长文档摘要中评估事实一致性的效能,并提出了一种新的评估框架 LongDocFACTScore,该框架可以扩展到任意长度的文档。LongDocFACTScore 在评估长文档摘要数据集的事实度与人工测量结果的相关性方面优于现有的最先进度量标准。同时,在短文档数据集上与人工度量标准的事实一致性进行评估时,LongDocFACTScore 具有与最先进度量标准相当的性能。

合并事实,创造谬误:评估长篇生成中聚合事实声明的矛盾性质

BriefGPT - AI 论文速递
BriefGPT - AI 论文速递 · 2024-02-08T00:00:00Z
  • <<
  • <
  • 1 (current)
  • >
  • >>
👤 个人中心
在公众号发送验证码完成验证
登录验证
在本设备完成一次验证即可继续使用

完成下面两步后,将自动完成登录并继续当前操作。

1 关注公众号
小红花技术领袖公众号二维码
小红花技术领袖
如果当前 App 无法识别二维码,请在微信搜索并关注该公众号
2 发送验证码
在公众号对话中发送下面 4 位验证码
友情链接: MOGE.AI 九胧科技 模力方舟 Gitee AI 菜鸟教程 Remio.AI DeekSeek连连 53AI 神龙海外代理IP IPIPGO全球代理IP 东波哥的博客 匡优考试在线考试系统 开源服务指南 蓝莺IM Solo 独立开发者社区 AI酷站导航 极客Fun 我爱水煮鱼 周报生成器 He3.app 简单简历 白鲸出海 T沙龙 职友集 TechParty 蟒周刊 Best AI Music Generator

小红花技术领袖俱乐部
小红花·文摘:汇聚分发优质内容
小红花技术领袖俱乐部
Copyright © 2021-
粤ICP备2022094092号-1
公众号 小红花技术领袖俱乐部公众号二维码
视频号 小红花技术领袖俱乐部视频号二维码