本研究解决了使用语言模型评估创意文本(如人类撰写故事)时,由于多标注者评分的主观性而产生的挑战。提出的CoKe方法在生成自由文本解释之前,先生成一系列关键字,从而改善评分预测的引导,研究发现该方法在StoryER数据集上表现出色,不仅实现了与人类水平的性能相当,还在与人类标注者的相关性上显著超越了GPT-4,并显著减少了参数数量。
COKE使用领域专家知识和传感器数据构建因果图,无需填充缺失数据。实验评估显示,COKE在F1得分上平均提升39.9%。在真实世界和半导体数据集中,提升分别可达到62.6%和85.0%。
本文介绍了一种名为Coke的新型框架,用于PLMs,它可以动态选择上下文和嵌入知识。实验结果显示,Coke在知识驱动的NLP任务中表现更好,并能以更可解释的方式描述文本相关知识的语义。
完成下面两步后,将自动完成登录并继续当前操作。