本研究提出了一种评估框架,针对大型语言模型在商业智能应用中的语义幻觉和结构错误问题。通过对219个自然语言商业问题的基准评估,发现Exaone 3.5在简单任务中表现良好,但在复杂任务中显著退化,强调了验证事实一致性的必要性。
本研究提出模块化机器学习(MML),旨在解决大型语言模型在推理、事实一致性和可解释性方面的局限性。通过分解模型结构,MML增强逆事实推理能力,减少幻觉现象,促进公平、安全和透明性,推动可信赖的人工智能系统发展。
本研究提出了一种基于检索的框架,以解决大型语言模型生成幻觉输出的问题。通过将用户查询转化为逻辑表示,并利用检索增强生成(RAG)评估前提有效性,显著提高了输出的事实一致性和准确性。实验结果表明,该方法有效减少了幻觉现象。
本研究提出了一种个性化新闻标题生成框架(FPG),旨在解决事实一致性不足的问题。FPG通过评估候选新闻与历史点击新闻的相似性,平衡个性化与一致性,并利用对比学习增强标题的事实一致性。实验结果表明,FPG在个性化与事实一致性方面具有显著优势。
该研究提出了新的数据集SummEdits,以解决现有基准测试的缺陷。尽管大型语言模型(LLM)在该数据集上的表现不佳,但仍显示出推理和事实一致性方面的能力差距。研究强调了不确定性量化的重要性,发现LLM的置信度往往不稳定,指出改进模型参数化知识的必要性。
本文介绍了AlignScore指标,用于评估大型语言模型在事实一致性方面的表现。研究表明,AlignScore在测试中优于其他标准,并提出了LongAlign框架以提升长篇背景任务的处理能力。此外,SAFE方法通过LLM代理评估长篇事实的准确性,显示出超人类的评级性能。
该研究提出了一种弱监督模型,用于验证文本摘要的事实一致性,评估生成摘要与原文的冲突。研究通过多个评估指标和新型度量标准,展示了不同方法在事实一致性评估中的性能,特别是AlignScore和FFLM在检测不一致性和忠实度评分方面的优势。
本研究探讨了大型语言模型(DLM)在摘要事实一致性评估中的应用,发现针对DLM的提示方法优于现有系统。通过零样本策略,提出三种矛盾检测方法,实验表明合理的设计能提升模型性能。研究引入TreatFact数据集,评估了11个LLM的事实一致性,发现开源模型有提升潜力,并提出新指标FFLM,改善生成模型的忠实度评估。
本文介绍了一种新方法FActScore,用于评估生成文本的真实性。该方法通过将文本分解为原子事实,并计算可靠来源支持的事实比例来进行评估。同时,研究提出了LongDocFACTScore框架,能够有效评估长文档的事实一致性,且在与人工测量对比中表现优于现有标准。此外,研究还指出大型语言模型在生成文本时存在的事实准确性问题,并提出D-FActScore以改善评估效果。
该研究提出了一种弱监督模型,用于验证摘要的事实一致性,解决文献与生成摘要之间的冲突。通过零样本策略评估三种矛盾检测方法,并设计高效训练策略以提高摘要评分准确性。同时,研究提出了基于事实感知的自动摘要模型FASum,有效纠正事实错误,提升摘要质量。此外,FineGrainFact方法用于细粒度事实错误检测,表现优于基线模型。
本研究提出了长文本自动摘要的人工评估指南LongEval,旨在提高评估信度并减少评估者工作量。调研162篇论文发现,神经文本生成模型在生成摘要时容易产生虚假内容。研究还探索了大型语言模型在评估摘要事实一致性方面的应用,提出了新指标FFLM和FIB基准,发现现有模型在一致性评分上存在问题。最终,强调了改进评估方法的重要性,以提升摘要的可信度和准确性。
本研究探讨大型语言模型(LLMs)在评估文本生成摘要的事实一致性方面的有效性与局限性。通过知识图谱建立评估框架,发现ChatGPT表现最佳,但LLMs在事实检测上仍存在不足。研究分析了事实性错误的原因,提出改进方法,并强调评估模型事实可靠性的重要性。
本研究提出三种零样本策略以解决矛盾检测问题,并评估大型语言模型的有效性。实验结果表明,合理设计的范式能够使模型在无需训练的情况下超越强基线。此外,研究还推出了新的数据集和基准,探讨模型在事实一致性评估中的表现,发现现有模型在检测不一致性方面存在不足。
本文探讨了大型语言模型(LLM)在法律领域的应用及评估方法。研究表明,LLM在法律判决预测中表现良好,但在事实一致性评分上存在局限性。通过微调和引入新基准,提升了LLM在法律任务中的表现。同时,研究揭示了人类和LLM评判者的偏见,强调了开发更健壮评估系统的必要性。
本文综述自动摘要事实一致性评估研究,涵盖TreatFact临床数据集、FactPICO医学基准、InFusE推理评估、DeFacto信息反馈、GO FIGURE框架、ClozE填空模型及大模型评估方法,指出开源模型仍落后,现有指标与专家判断相关性差,临床摘要不一致性难以捕捉。
本文综述大语言模型评估摘要事实一致性的研究。TreatFact数据集表明现有方法和LLM评估器均难以捕捉临床摘要的不一致。研究提出Facet评估、GPTScore等方法,发现指令微调比模型规模更关键,适当提示可使LLM无需训练超越基线,但LLM仍存在将不一致摘要误判为高分的风险。
该文综述大型语言模型在医疗文本处理中的应用:利用GPT生成合成数据提升临床笔记摘要的事实一致性;提出FACT-GPT自动匹配社交媒体声明以辅助事实核查;探索ChatGPT用于生物命名实体识别与关系抽取,缓解数据隐私问题;评估LLM摘要的事实性,发现幻觉严重,但LLM可作事实验证器,与人类判断高度相关。
该文综述放射学报告自动生成研究,涵盖多模态框架、条件交叉注意力融合、疾病定向检索与事实一致性生成、弱监督对比损失、SAM分割与监督对比学习、纵向表示学习及小样本病变引导等方法,可提升临床信息提取F1、ROUGE-L及报告完整一致性;人工评估确认准确性,但细节与临床背景仍需改进。
本文综述了提升抽象摘要事实一致性的方法,包括后处理校正、事实感知生成、反事实去偏见、对抗数据增广和弱监督验证,实验表明这些方法能有效减少事实错误并提高摘要质量。
该文综述多项研究,探讨大型语言模型的事实一致性问题,涉及多样本自一致性评估、命题竞辩框架、事实问答近义词库及语义一致性度量,并利用模型评估摘要事实性。研究表明,检索增强和扩展可减少不一致,但语法形式等因素仍影响模型判断,现有模型在常识推理中差异显著。
完成下面两步后,将自动完成登录并继续当前操作。