对比知识解码:提高理解性语言模型对经过编辑事实的信心
💡
原文中文,约400字,阅读约需1分钟。
📝
内容提要
我们提出了一种新的知识编辑方法DeepEdit,通过深度优先搜索提高编辑效果。DeepEdit适用于所有黑盒语言模型,无需访问模型参数或输出词汇分布。在定性和定量上,DeepEdit都取得了显著性能提升。
🎯
关键要点
- 提出了一种新的知识编辑方法DeepEdit,基于约束的解码。
- DeepEdit通过深度优先搜索提高知识编辑效果。
- 适用于所有黑盒语言模型,无需访问模型参数或输出词汇分布。
- DeepEdit提高了推理连贯性、与问题的相关性和对更新知识的认知。
- 逐步产生高质量的推理步骤,实现有效的知识编辑。
- 在定性上,DeepEdit能够有效控制语言模型,进行简洁的推理。
- 在定量上,DeepEdit在MQuaKE数据集上取得显著性能提升。
- 源代码已在指定网址发布。
➡️