多模态学习稀疏检索与概率扩展控制
内容提要
该文综述稀疏检索与多模态检索进展，包括改进SDM用于学习稀疏检索（SoftSDM无额外优势）、SPLADE等提升效率与效果、稀疏语言模型加速推理，以及KD-SPD多语言检索、SWIM-IR合成数据、LHRS-Bot遥感多模态模型和RetriKT知识迁移压缩方法。
延伸解读
稀疏检索中词语依赖建模的简化
文章指出，将顺序依赖模型（SDM）应用于学习到的稀疏检索（LSR）时，ExactSDM和SoftSDM两种改进方法均优于现有LSR聚合方法，但SoftSDM相比ExactSDM并无性能优势。这表明在LSR中，软接近匹配并非建模词语依赖性的必要条件，为后续研究简化模型提供了依据。
稀疏检索的效率与效果平衡
文章提到，基于显式稀疏正则化和对数饱和效应的首位排序器在保持高度稀疏表示的同时，取得了与密集和稀疏方法竞争的结果。此外，使用稀疏语言模型替代矢量检索系统，在MSMARCO数据集上精度几乎不降，推理速度最多提升4.3倍，体现了稀疏方法在效率上的潜力。
多语言检索的合成数据与知识蒸馏
针对多语言检索，文章介绍了KD-SPD方法，通过soft prompt decoding和知识蒸馏将教师模型的检索知识转移到多语言文档编码器，在三个数据集上优于主流算法，减少了语言偏见。同时，SWIM-IR合成数据集能以较低成本替代昂贵的人工标记数据，为多语言密集检索训练提供了新途径。
多模态与压缩技术的应用
文章还涉及多模态和压缩技术：LHRS-Bot利用大规模遥感图像-文本数据集和指令数据，通过多层次视觉-语言对齐和课程学习，提升了遥感图像理解能力；RetriKT通过从大模型提取知识构建存储库，让小模型检索相关信息进行推理，显著提升了小模型性能。这些方法展示了跨模态和知识迁移的实用价值。
Q&A
SDM模型如何应用于学习到的稀疏检索？
文章提出了两种改进方法：ExactSDM和SoftSDM，将顺序依赖模型（SDM）应用于学习到的稀疏检索（LSR）。实验表明这些方法优于现有的LSR聚合方法，但SoftSDM相比ExactSDM没有性能优势，说明软接近匹配在LSR中不是建模词语依赖性的必要条件。
SPLADE模型有哪些改进可以提升检索效率和效果？
文章提到对SPLADE模型的改进包括修改pooling机制、基于文档扩展的模型、引入蒸馏训练，这些改进在效率和效果上都有提升，并在BEIR测试上取得了最新的最优结果。
稀疏语言模型如何提高检索推理效率？
研究使用稀疏语言模型替代矢量检索系统，在MSMARCO数据集上实验表明，精确度几乎没下降，推理速度最多提高了4.3倍。
KD-SPD方法在多语言检索中有什么优势？
KD-SPD通过soft prompt decoding处理多种语言的杂乱和不平衡性，运用知识蒸馏将教师模型的检索知识转移到多语言文档编码器上。实验显示在三个多语言检索数据集上表现优于主流竞争算法，具有更少的语言偏见和更好的零样本转移能力。
SWIM-IR合成数据在多语言检索中有什么作用？
SWIM-IR合成训练数据集可以以较低成本替代昂贵的人工标记检索训练数据，用于研究多语言密集检索模型的能力，并在三个检索基准上进行了全面评估。
LHRS-Bot是什么？它在遥感领域有什么特点？
LHRS-Bot是针对遥感图像理解的多模态大语言模型（MLLM），利用大规模遥感图像-文本数据集和遥感特定指令数据集构建，通过新颖的多层次视觉-语言对齐策略和课程学习方法，展现了在遥感领域中深入理解遥感图像和进行细致推理的能力。
RetriKT方法如何提升小规模模型的性能？
RetriKT是一种基于检索的知识迁移压缩方法，通过从大规模预训练语言模型中提取知识，构建知识存储库，小规模模型可以从中检索相关信息并利用它进行有效推理，实验证明该方法显著提升了小规模模型的性能。
