LLMCheckup: 通过可解释性工具对大型语言模型进行对话式检测

研究者发现，大多数语言模型生成的对话摘要中有27%的事实不一致。对于更具挑战性的事实问题回答，所有模型的平均准确率仅为62.8%。研究还发现，对话的主题/客体的理解是语言模型对话理解能力中最困难的问题。通过自动构建多任务数据进行微调，可以提高模型的对话理解能力。在DIAC-FactQA上，该方法获得了8.9%的准确率提升。