本文介绍了一种利用潜在知识检索器扩充语言模型预训练的方法，应用于开放域问答任务，取得良好效果。研究提出了M3-Embedding嵌入模型，支持多语言检索，具备多功能性和高效性，并通过专家路由器系统优化查询路由，提升查询效率和降低成本。