基于自我指导的事实验证：解释性和泛化性挖掘
内容提要
本文提出了一种基于解释的微调方法，以增强大型语言模型在分类任务中的稳健性。通过生成支持答案的自由文本解释，模型在伪线索下表现更佳。此外，研究探讨了利用外部知识库和无标注数据进行微调，以提升事实核查的性能。实验结果显示，GPT-4在零提示场景中表现突出，而开放源模型在少提示和微调情况下也表现良好。
延伸解读
解释性微调如何提升模型稳健性
文章提出基于解释的微调方法，要求模型不仅预测答案，还生成支持答案的自由文本解释。与标准微调相比，该方法在四个分类任务中显著增强了模型对伪线索的稳健性。这意味着模型学会依赖合理解释而非表面相关性，从而在分布外数据上表现更佳。此外，该方法也适用于模型生成的解释，暗示其可扩展至更多数据集。
外部知识库与无标注数据微调的价值
研究探索利用外部知识库的一致性或大模型置信度，在无需人工标注的情况下微调语言模型，明显提高了生成候选项的正确性。相比目标定向的RLHF和解码策略，该方法有显著改善。这为低资源环境下构建事实核查系统提供了可行路径，但文章也指出Self-Checker框架能力仍需进一步提高。
不同模型在事实核查任务中的表现差异
实验显示，在零提示场景下GPT-4表现突出，但在少提示和参数高效微调情况下，开放源模型不仅能填补性能差距，有时甚至超过GPT-4。人工评估则揭示更多细微差异，并指出黄金解释可能存在问题。这表明自动评估与人工评估需结合，且模型选择应视具体场景和资源而定。
事实核查自动化仍面临的挑战
文章提到，针对大型语言模型输出的事实准确性注释，现有工具在识别错误声明方面存在困难，最佳F1仅为0.53。同时，Self-Checker框架在低资源环境下虽能高效构建系统，但能力仍有待提高。这些局限说明，尽管微调和外部知识结合提升了性能，但完全自动化的事实核查仍需进一步研究。
Q&A
什么是基于解释的微调方法？
基于解释的微调方法是一种增强大型语言模型稳健性的技术，通过生成支持答案的自由文本解释来提高模型在分类任务中的表现。
GPT-4在事实核查任务中的表现如何？
实验显示，GPT-4在零提示场景中表现突出，能够有效进行事实核查。
如何利用外部知识库提升语言模型的性能？
通过结合外部证据检索和无标注数据进行微调，可以显著提高语言模型在事实核查任务中的性能。
自我认可框架的作用是什么？
自我认可框架旨在减少大型语言模型在推理时的幻觉，通过对多个样本回答进行细粒度比较来改善生成的客观性。
开放源模型在少提示情况下的表现如何？
开放源模型在少提示和微调情况下表现良好，能够在某些任务中超过GPT-4。
本文提出了哪些新的事实检查方法？
本文提出了一种利用语言模型进行事实检查的few-shot learning新方法，并展示了其在多个数据集上的良好效果。
