可编辑外部知识的语言建模

该论文提出了一种新型可检索增强的大型语言模型架构，旨在提升代码生成和问答任务的性能。

通过引入检索机制和独特的训练方法，模型在知识密集型任务中表现优异，显著提高了生成质量和准确性。

模型在多语言知识编辑和长文本生成方面展现出更高的效率和灵活性。

提出的 EKRG 框架以极低的注释成本实现了企业知识库的问答，经过广泛实验显示显著有效性。

模型在 OpenbookQA 上的准确性从 23.47% 提高到 36.27%，在开放式文本生成中的 MAUVE 得分从 42.61% 提高到 81.58%。

提出的 Iter-RetGen 方法通过检索和生成的迭代协同作用，显著提高了大型语言模型的推理能力。

多语言知识编辑通过检索增强的方式有效更新大型语言模型中的新知识，性能优于传统微调方法。

GenRead 方法使用大型语言模型生成上下文文档，解决开放领域 QA 等知识密集型任务，准确性高于传统检索 - 阅读模型。

FLARE 方法通过预测未来内容来提高生成长文本时的准确性，表现优异。

Retrieve to Explain (R2E) 方法解决了语言模型在解释性上的困难，展现了其在科学文献中的应用优势。

该研究介绍了一种统一的语言模型，结合生成检索、闭书生成和 RAG，处理各种知识密集型任务，性能出色。