本研究提出了一种评估框架,针对大型语言模型在商业智能应用中的语义幻觉和结构错误问题。通过对219个自然语言商业问题的基准评估,发现Exaone 3.5在简单任务中表现良好,但在复杂任务中显著退化,强调了验证事实一致性的必要性。
本研究提出模块化机器学习(MML),旨在解决大型语言模型在推理、事实一致性和可解释性方面的局限性。通过分解模型结构,MML增强逆事实推理能力,减少幻觉现象,促进公平、安全和透明性,推动可信赖的人工智能系统发展。
本研究提出了一种基于检索的框架,以解决大型语言模型生成幻觉输出的问题。通过将用户查询转化为逻辑表示,并利用检索增强生成(RAG)评估前提有效性,显著提高了输出的事实一致性和准确性。实验结果表明,该方法有效减少了幻觉现象。
本研究提出了一种个性化新闻标题生成框架(FPG),旨在解决事实一致性不足的问题。FPG通过评估候选新闻与历史点击新闻的相似性,平衡个性化与一致性,并利用对比学习增强标题的事实一致性。实验结果表明,FPG在个性化与事实一致性方面具有显著优势。
该研究提出了新的数据集SummEdits,以解决现有基准测试的缺陷。尽管大型语言模型(LLM)在该数据集上的表现不佳,但仍显示出推理和事实一致性方面的能力差距。研究强调了不确定性量化的重要性,发现LLM的置信度往往不稳定,指出改进模型参数化知识的必要性。
本文介绍了AlignScore指标,用于评估大型语言模型在事实一致性方面的表现。研究表明,AlignScore在测试中优于其他标准,并提出了LongAlign框架以提升长篇背景任务的处理能力。此外,SAFE方法通过LLM代理评估长篇事实的准确性,显示出超人类的评级性能。
该研究提出了一种弱监督模型,用于验证文本摘要的事实一致性,评估生成摘要与原文的冲突。研究通过多个评估指标和新型度量标准,展示了不同方法在事实一致性评估中的性能,特别是AlignScore和FFLM在检测不一致性和忠实度评分方面的优势。
本研究探讨了大型语言模型(DLM)在摘要事实一致性评估中的应用,发现针对DLM的提示方法优于现有系统。通过零样本策略,提出三种矛盾检测方法,实验表明合理的设计能提升模型性能。研究引入TreatFact数据集,评估了11个LLM的事实一致性,发现开源模型有提升潜力,并提出新指标FFLM,改善生成模型的忠实度评估。
本文介绍了一种新方法FActScore,用于评估生成文本的真实性。该方法通过将文本分解为原子事实,并计算可靠来源支持的事实比例来进行评估。同时,研究提出了LongDocFACTScore框架,能够有效评估长文档的事实一致性,且在与人工测量对比中表现优于现有标准。此外,研究还指出大型语言模型在生成文本时存在的事实准确性问题,并提出D-FActScore以改善评估效果。
该研究提出了一种弱监督模型,用于验证摘要的事实一致性,解决文献与生成摘要之间的冲突。通过零样本策略评估三种矛盾检测方法,并设计高效训练策略以提高摘要评分准确性。同时,研究提出了基于事实感知的自动摘要模型FASum,有效纠正事实错误,提升摘要质量。此外,FineGrainFact方法用于细粒度事实错误检测,表现优于基线模型。
本研究提出了长文本自动摘要的人工评估指南LongEval,旨在提高评估信度并减少评估者工作量。调研162篇论文发现,神经文本生成模型在生成摘要时容易产生虚假内容。研究还探索了大型语言模型在评估摘要事实一致性方面的应用,提出了新指标FFLM和FIB基准,发现现有模型在一致性评分上存在问题。最终,强调了改进评估方法的重要性,以提升摘要的可信度和准确性。
本研究探讨大型语言模型(LLMs)在评估文本生成摘要的事实一致性方面的有效性与局限性。通过知识图谱建立评估框架,发现ChatGPT表现最佳,但LLMs在事实检测上仍存在不足。研究分析了事实性错误的原因,提出改进方法,并强调评估模型事实可靠性的重要性。
本研究提出三种零样本策略以解决矛盾检测问题,并评估大型语言模型的有效性。实验结果表明,合理设计的范式能够使模型在无需训练的情况下超越强基线。此外,研究还推出了新的数据集和基准,探讨模型在事实一致性评估中的表现,发现现有模型在检测不一致性方面存在不足。
本研究评估了自动度量标准在长文档摘要中评估事实一致性的效能,并提出了一种新的评估框架 LongDocFACTScore,该框架可以扩展到任意长度的文档。LongDocFACTScore 在评估长文档摘要数据集的事实度与人工测量结果的相关性方面优于现有的最先进度量标准。同时,在短文档数据集上与人工度量标准的事实一致性进行评估时,LongDocFACTScore 具有与最先进度量标准相当的性能。
完成下面两步后,将自动完成登录并继续当前操作。