我们提出了一种新架构，可以快速实例化不同数据混合的模型，而无需重新训练。该架构通过线性组合专家权重，基于输入直方图学习组合系数。我们在多个数据集上展示了该方法的潜力，以快速获得小型专用模型。