本研究提出了一种受 $ ext{l}_0$ 启发的稀疏化方法，旨在提高稀疏检索模型在无推理场景下的效率。评估结果表明，该方法在 BEIR 基准测试中表现优异，与主流模型相当，揭示了检索效果与计算效率之间的权衡，具有实际应用价值。

本文介绍了DejaVu系统，该系统通过上下文稀疏性预测算法和异步硬件感知，显著降低了OPT-175B的推理延迟。研究提出了多种稀疏化方法，以提升大型语言模型（LLMs）的训练效率和推理速度，同时保持准确性。通过稀疏性和剪枝技术，模型大小减小，训练时间节省，展现出在特定任务上的高效性。