本研究提出ECKGBench数据集,以解决大型语言模型在电子商务中的事实性评估不足问题,提升评估效率和可靠性,促进其实际应用。
本研究提出了一种动态分解方法,通过强化学习优化长文本的事实性评估,显著提升了验证的信心和准确性。实验结果表明,该方法在不同验证者和数据集上表现优越。
本研究提出了T2I-FactualBench,这是一个针对文本到图像生成模型的事实性评估基准,重点关注知识密集概念。实验结果表明,现有模型在该领域仍有显著改进空间。
本研究提出了“中文简单QA”基准,旨在解决大型语言模型在中文环境中的事实性评估问题,提供高质量的问答,以促进模型性能的提升。
该研究提出了一种新方法,通过预训练和微调的掩码语言模型,区分实体幻觉与非实体幻觉,从而提升摘要的事实性。利用大型语言模型评估摘要一致性,并结合数据过滤和联合实体生成技术,改善摘要质量。此外,研究探讨了大型语言模型在生成摘要时的谬误,提出基于对抗解耦的方法以提高准确性,并建立了新的事实性评估标准。
该文综述大语言模型事实性评估研究,分析事实错误的成因与影响,介绍FELM、Pinocchio等基准及多语言知识检索测试,探讨利用外部知识库、置信度和内部状态检测事实错误,并指出LLM作为事实检查器仍存在语言不一致与虚构等局限。
多项研究评估大型语言模型(LLMs)与人类语言认知的异同,发现LLMs在语法判断上与人类高度一致,但会高估无意义陈述的深度,且受提示方式影响。模型规模与任务表现正相关,却与阅读时间拟合负相关。LLMs在模拟人类语言处理偏差和事实性评估方面存在局限,尚不能完全作为人类语言认知模型。
本文综述大语言模型事实性评估研究,提出FActScore方法,将文本分解为原子事实并计算支持比例,发现ChatGPT精度仅58%;还介绍了FELM基准、LongDocFACTScore长文档评估框架及事实增强训练方法,指出当前模型检测事实错误能力仍不足。
FactKB是一种新的事实评估方法,使用基于实体知识的语言模型,解决了现有模型在新领域中存在的实体和关系错误问题。测试结果表明,FactKB的事实性评估模型达到了最先进的性能水平,并在摘要中检测错误实体和关系的能力显著提高,证明其在领域通用性和鲁棒性方面的特点。
完成下面两步后,将自动完成登录并继续当前操作。