该文综述多项研究，探讨预训练语言模型对字符、词汇与事实知识的编码。结果表明，模型能隐式学习拼写和关系知识；引入实体信号可增强知识装载，提升语言建模与问答表现；子词模型在多语言场景仍较可靠，微调可补足推理所需信息。
完成下面两步后，将自动完成登录并继续当前操作。
