MiniCheck：基于文本证明的 LLM 高效事实核查

该研究提出了一种针对大型语言模型输出进行事实准确性注释的综合解决方案，旨在识别可验证性和事实不一致性。

初步实验结果显示，现有工具在识别错误声明方面存在困难，最佳 F1=0.53。

研究介绍了 FACT-GPT 系统，利用 LLMs 自动化事实核查，评估结果表明其准确性与人类判断相近。

尽管 LLMs 在事实核查中展现潜力，但仍需谨慎使用，准确性不一致。

研究呼吁进一步研究，以深入了解 LLMs 在事实核查中的成功与失败。

FACT-GPT 系统能够识别与先前被揭穿的声明相符、相悖或无关的社交媒体内容。

研究结果表明，精细调节的 LLMs 在主张匹配任务中与更大型的预训练 LLMs 的性能相媲美。

引入了名为 FactChecker 的新型自动化测试框架，揭示了 LLMs 中的事实错误。

提出了一种基于自监督的零次学习框架 Self-Checker，旨在解决事实检查的计算负担问题。

对多模态大型语言模型的能力和局限性进行了评估，发现 GPT-4V 在识别恶意和误导性论断方面表现优越。

研究确认 LLMs 可以作为有效的事实验证器，与人类判断具有强相关性。

提出新的数据集 SummEdits，旨在解决现有基准测试的缺点，但大多数 LLM 模型在该数据集上表现不佳。

提出 GenAudit 工具，旨在辅助检查 LLM 响应，提供参考文献支持的事实证据。