本研究针对知识图谱构建中用户参与的不足进行探讨,指出当前研究缺乏系统性的一致性,影响了不同知识生成语言和工具的比较。提出了一种新的用户协议,该协议旨在增强任务设计、参与者选择和评估指标的一致性,为知识图谱构建的用户研究提供更具可比性的评估基础。
本研究提出了一种新的反事实解释评估方法,开发了30种场景并收集了206位受访者的评分。经过微调的大型语言模型在预测人类评分方面的准确率达到85%,提升了评估的可比性和可扩展性。
完成下面两步后,将自动完成登录并继续当前操作。