本文提出了一种简单的方法来预训练代理模型，使用高斯过程和变压器编码器的深度特征学习。该方法适用于解决具有异构输入空间的先前任务，并提供了一种混合初始化策略来加速新任务的收敛。实验结果表明，该方法在合成和真实基准问题上更加有效。