本文综述了预训练模型集成方法，提出识别下游任务模型子集的算法，在19项视觉任务中取得最优性能。研究还涉及拓扑数据分析用于文本和语音分析、异构深度集成提升鲁棒性、多样性度量改进泛化、神经网络集成缓解算法伤害、迁移学习解决实体共指消解，以及数据无关知识融合的模型合并方法。