本文探讨了基于嵌入的检索模型及其在段落级预训练任务中的重要性。研究表明，检索增强语言模型（RALMs）在问答任务中表现优越，通过改进检索器与模型组件的交互，可以提高性能。提出的可训练综合检索器框架（EoR）有效减少了不一致性，显著提升了开放域问答的效果。