本研究探讨了大规模语言模型(LLMs)与知识图谱(KGs)之间的元语言不一致性问题,提出了一个检测基准,以评估二者的事实性和元语言不一致性,为知识图谱构建提供新工具。初步验证已在Github发布。
在人工智能时代,大语言模型(LLMs)的安全性问题备受关注。评估和提升模型在法律、政策和伦理方面的安全性至关重要。传统评测方法存在局限,需要建立更精确的评测框架。中国推出了Chinese SafetyQA,旨在评测中文安全知识,涵盖法律和道德等领域,以提升模型的安全应用能力。
本文探讨了大语言模型生成内容的事实不准确问题,提出了一种显式工作记忆(EWE)方法,通过实时反馈提升文本生成的准确性。实验结果表明,EWE显著提高了生成内容的可靠性。
本文介绍了一个包含860个公共示例和859个私有示例的数据集。公共数据集已发布用于评估LLM,而私有数据集则保密以防基准污染。FACTS示例涵盖多个领域,包含不同长度的文档,用户请求包括摘要、问答生成和重写任务,但不涉及创造性或复杂推理。
本研究针对放射科报告生成中的事实正确性问题,提出了一种全新的基于语义一致性的事实性不确定性量化框架。该方法通过无需改动底层模型或访问其内部状态,作为即插即用模块与现有模型无缝集成,显著提高了自动生成报告的事实准确性,提升幅度达10%。
AIxiv专栏促进学术交流,已发布2000多篇文章。淘天集团的未来生活实验室推出Chinese SimpleQA评测集,专注于中文模型的事实正确性,涵盖99个主题,经过严格质量控制,评估多种模型的表现,推动中文AI的发展。
本文研究了大型语言模型在回答事实型问题时的性能,提出了新的基准和评估方法。实验证明,模型在生成答案的真实性上存在挑战,尤其是在低资源语言中。研究探讨了如何利用语言模型的知识进行事实检查,并提出了改进模型性能的建议。
人工智能领域的一个重要问题是如何训练模型以生成事实正确的回答。目前的语言模型有时会产生虚假信息,称为“幻觉”。我们正在开源一个新的基准SimpleQA,以评估语言模型的事实性。
本研究提出了一种图形不确定性方法,旨在解决大型语言模型在长文本生成中的虚构和不确定性问题。通过二分图表示生成与声明的关系,结果显示该方法在多个任务上提高了6.8%的AUPRC,并在事实性方面改善了2-4%。
研究表明,现有的自然语言处理辟谣任务和数据集无法有效应对虚假信息。大型语言模型在事实核查中提高效率,但在高风险环境中不应作为可靠替代品。新模型显示出与人类相似的真相检测能力,并提出了新的欺骗检测框架。同时,研究发现大型语言模型易受外部错误信息影响,尤其在多轮对话中。
本文探讨了大型语言模型(LLMs)在法律领域的应用,特别是隐私和偏见等法律问题。研究介绍了基于瑞士法律的NLP基准测试和开源模型ChatLaw,评估了不同LLMs在法律任务中的表现。尽管LLMs在分类任务中表现良好,但仍需改进。文章强调了LLMs在法律文本理解和案例检索中的优势与挑战,并提出未来研究方向。
本研究针对大型语言模型中的“幻觉”现象,提出了感应-对比解码、忠实微调(F2)和适应性激活引导(ACT)等方法,以提高生成内容的真实性。实验结果表明,这些方法有效减少了虚假信息的生成,并提升了模型在TruthfulQA基准测试中的表现,展示了在自然语言处理任务中的潜力。
本文介绍了一种可解释的跨模态去上下文检测方法,旨在识别不匹配内容和矛盾信息,以提高虚假信息检测的准确性和可解释性。研究提出了新型架构和数据集,评估图像与标题的匹配,增强多模态虚假信息检测效果。
大型语言模型在开放式主题的事实查询中常出现错误。研究提出了一种名为SAFE的方法,通过多步推理评估长篇回复的准确性。实验证明,SAFE在评估上超越人类标注者,且成本低。研究还探讨了长篇问答任务的评估挑战,并提出改进建议,以提高答案的相关性和可靠性。
该文汇总多项语言模型研究:利用外部知识库和大模型置信度进行无标注微调以提升生成正确性;通过句子表示对齐增强跨语言能力;分析生成模型训练动态以改进事实性和抽象度;提出CraFT协作微调、SciMult多任务对比学习、无幻觉蒸馏框架、概念感知语言模型CALM、事实知识补全框架、APT机器翻译框架及轻量隐私扰动机制,在少样本学习、科学文献理解、序列标记等任务上取得显著效果。
该文综述检索增强生成在常识推理与多模态任务中的进展,涵盖原型句子检索、RACo通识语料库、多模态检索增强模型MuRAG及迭代检索-生成框架,这些方法在CommonGen、WebQA等基准上取得最优结果,并探讨事实性、可解释性及未来方向。
该文综述大语言模型的事实性问题:幻觉导致非事实输出,GPT-3.5事实性不足25%。研究提出FactChecker框架、事实验证器及注释方案,发现模型可作验证器且与人类判断相关,但准确性受语言和主张真实性影响,需谨慎使用并加强评估与改进。
该研究讨论了大型语言模型中的事实性问题,分析了其不准确性对不同领域应用的潜在影响和挑战,介绍了评估模型事实性的方法和策略,提供了研究人员指南以增强大型语言模型的事实可靠性。
该研究分析了人工反馈在训练和评估中的使用,发现偏好得分未充分表示重要方面,如事实性,并可能受到混杂因素的影响。研究建议未来的研究仔细考虑偏好得分是否与所期望的目标一致。
该文章介绍了一种新的事实评估方法FactKB,使用基于实体知识的语言模型,解决了现有模型在新领域中存在的实体和关系错误问题。在测试数据上表现出最先进的性能水平,并在摘要中检测错误实体和关系的能力显著提高,证明其在领域通用性和鲁棒性方面的特点。
完成下面两步后,将自动完成登录并继续当前操作。