预训练语言模型对标记的表面信息的认知
内容提要
该文综述多项研究，探讨预训练语言模型对字符、词汇与事实知识的编码。结果表明，模型能隐式学习拼写和关系知识；引入实体信号可增强知识装载，提升语言建模与问答表现；子词模型在多语言场景仍较可靠，微调可补足推理所需信息。
延伸解读
字符级信息的隐式编码
文章指出，预训练语言模型虽未直接使用字符信息，却能隐式学习拼写知识，拼写正确率可达整体词汇量的三分之一，并在所有令牌类型上达到高平均字符模型重叠度。然而，通过额外字符信息丰富子词模型训练并不能提升语言建模性能，表明语言建模目标本身激励模型隐式学习拼写，显式教授拼写知识反而无效。
实体信号增强知识装载
在预训练中引入实体信号，无需改变Transformer架构或添加外部存储，即可在参数中装载更多知识，提高语言建模精度，并在LAMA知识探测任务中获得事实正确性。知识感知语言模型（KALM）可作为GPT-2的替代，显著提升零样本问答等下游任务表现，为知识融入提供了轻量级方案。
多语言场景下的子词模型优势
针对6种语言和5种词汇任务的系统分析显示，基于子词的模型在内存使用、推理速度和数据健壮性方面仍是许多场景下更可靠的选择。研究建议未来的tokenizer-free方法在设计和评估时也应考虑这些因素，表明子词分割在当前多语言预训练中仍具实用价值。
推理所需信息的编码与微调补足
预训练语言模型编码了部分逻辑推理所需的语言信息，但某些信息编码较弱。通过微调，模型能有效学习缺失的语言信息，这为语言模型作为支持符号推理的语义和背景知识库提供了潜力。同时，模型在知识获取上存在困难，但自我监督的连续预训练方法可帮助模型进行更多知识自学习。
Q&A
预训练语言模型能学会拼写知识吗？
能。研究表明，即使没有直接使用字符信息，预训练语言模型也能隐式地学习拼写知识，其拼写正确率可达整体词汇量的三分之一，并在所有令牌类型上达到高平均字符模型重叠度。
如何让预训练语言模型装载更多事实知识？
在预训练中引入实体信号，无需改变Transformer架构或添加外部存储，就能在参数中装载更多知识，提高语言建模精度，并在LAMA知识探测任务中获得事实正确性。
预训练语言模型能直接用于开放域问答吗？
可以。未经微调的BERT模型能竞争传统NLP方法的关系知识，可根据开放式关系进行查询，并作为无监督开放域QA系统展现潜力。
预训练语言模型在逻辑推理方面表现如何？
模型编码了部分推理所需的语言信息，但有些信息编码较弱；通过微调，模型能有效学习到缺失的语言信息，从而支持符号推理。
多语言场景下，子词模型和tokenizer-free方法哪个更可靠？
当前研究表明，在考虑内存使用、推理速度和数据健壮性时，基于子词的模型仍是许多场景下更可靠的选择，建议未来tokenizer-free方法的设计和评估也考虑这些因素。
预训练语言模型能记住文本中单词的顺序吗？
Transformer模型可以从第一次出现的名词清单中提取词语的身份和排序，而LSTM模型更侧重于先前单词的语义要点及其与列表中其他单词的关系。
