对比知识解码:提高理解性语言模型对经过编辑事实的信心

💡 原文中文,约400字,阅读约需1分钟。
📝

内容提要

我们提出了一种新的知识编辑方法DeepEdit,通过深度优先搜索提高编辑效果。DeepEdit适用于所有黑盒语言模型,无需访问模型参数或输出词汇分布。在定性和定量上,DeepEdit都取得了显著性能提升。

🎯

关键要点

  • 提出了一种新的知识编辑方法DeepEdit,基于约束的解码。
  • DeepEdit通过深度优先搜索提高知识编辑效果。
  • 适用于所有黑盒语言模型,无需访问模型参数或输出词汇分布。
  • DeepEdit提高了推理连贯性、与问题的相关性和对更新知识的认知。
  • 逐步产生高质量的推理步骤,实现有效的知识编辑。
  • 在定性上,DeepEdit能够有效控制语言模型,进行简洁的推理。
  • 在定量上,DeepEdit在MQuaKE数据集上取得显著性能提升。
  • 源代码已在指定网址发布。
➡️

继续阅读