SWEA：通过主题词嵌入修改大型语言模型的事实知识
内容提要
本文综述语言模型知识编辑与词嵌入研究，涵盖KGEditor、KnowledgeEditor、MeLLo等方法，用于更新事实、修复错误预测，并评估多跳问答基准MQuAKE；同时涉及声学词嵌入、多语种迁移、Mixture of Word Experts及视觉对齐词嵌入，以提升知识密集任务表现。
延伸解读
知识编辑的多种技术路径
文章综述了多种语言模型知识编辑方法，包括KGEditor、KnowledgeEditor、MeLLo等。KGEditor利用超网络编辑KG基础嵌入，在低资源下表现更好；KnowledgeEditor通过元学习预测权重更新，无需重新训练；MeLLo基于记忆存储编辑事实，可扩展至175B模型。这些方法各有侧重，适用于不同场景。
评估基准与多跳推理挑战
文章提到MQuAKE基准，专门评估修改后的模型能否正确回答受编辑事实影响的多跳问题。多跳问答要求模型整合多个事实，这对知识编辑方法提出了更高要求。MeLLo在该基准上表现出色，但其他方法可能面临挑战，读者需关注编辑后模型在多跳推理上的表现。
词嵌入的跨模态与多语种扩展
文章涉及声学词嵌入、多语种迁移、Mixture of Word Experts及视觉对齐词嵌入。这些研究旨在提升词嵌入在知识密集任务中的表现，例如通过声学输入增强语义区分性，或通过视觉信息重新对齐词嵌入。这些扩展显示了词嵌入技术的多样性和应用潜力。
Q&A
SWEA 是什么？它主要解决什么问题？
SWEA 是一种通过主题词嵌入修改大型语言模型事实知识的方法。它旨在编辑语言模型中的事实知识，以更新事实或修复错误预测，同时不影响模型在其他任务上的表现。
有哪些方法可以编辑语言模型中的事实知识？
文章提到了多种知识编辑方法，包括 KGEditor、KnowledgeEditor、MeLLo 等。KGEditor 利用超级网络的其他参数层来编辑和添加事实；KnowledgeEditor 使用受约束的优化训练超网络来预测权重更新；MeLLo 是一种基于记忆的方法，存储所有编辑过的事实并提示语言模型迭代生成一致的答案。
MQuAKE 基准测试是什么？它用于评估什么？
MQuAKE 是一个包含多跳问题的基准测试，旨在评估修改后的语言模型是否能够正确回答受编辑事实影响的问题。它用于测试知识编辑后模型在多跳推理上的表现。
MeLLo 方法是如何工作的？它有什么优势？
MeLLo 是一种基于记忆的方法，它存储所有编辑过的事实，并提示语言模型根据编辑后的事实迭代生成与之一致的答案。MeLLo 在大型语言模型（高达 175B）中具有良好的可扩展性，并且性能超过以往模型编辑器。
什么是声学词嵌入？它有哪些应用？
声学词嵌入（AWE）是将声学输入映射到词汇表示的方法，用于提高嵌入空间的可区分性。文章提到基于 RNN 的区分性声学词嵌入和声学基础词嵌入（AGWE），并应用于基于示例的语音搜索和自动语音识别等下游任务。
Mixture of Word Experts (MoWE) 是什么？它有什么特点？
MoWE 是一种 Mixture-of-Experts 风格的模型，通过引入大型知识丰富词汇的路由功能和专家，解耦学习容量与 FLOPs。它可以被视为一种记忆增强模型，其中一组特定于单词的专家起到稀疏记忆的作用。MoWE 在各种 NLP 任务中性能优于相似 FLOPs 的 T5 模型，在知识密集型任务上胜过常规 MoE 模型，并且性能与更复杂的记忆增强方法相似。
视觉对齐词嵌入（VAWE）是什么？它解决了什么问题？
VAWE 是一种将分布式词嵌入与视觉信息重新对齐的方法，通过学习将词嵌入映射到一个新的表示形式，使 VAWE 的邻域结构与视觉领域中的结构类似。它克服了分布式词嵌入和视觉相似性不匹配的问题，并在零-shot 学习方法和基准数据集上表现出持续的性能改进。
