本研究探讨了在多任务设置中冻结解码器的微调方法。冻结解码器可以降低部署成本，提高新任务适应性，尤其在自然语言和多语言任务中减少灾难性遗忘。此外，该方法在结构性和问答任务中也表现优异，显示出广泛的适用性。

本文提出了一种可伸缩的基于前向特征选择的梯度提升决策树方法，适用于高维度下的搜索和推荐中的排名和相关模型构建。该方法可扩展到多任务设置，具有较好的理论性能和计算保证。与现有方法相比，模型性能度量相当，但训练时间有显著提升。