基于拓扑数据分析的语言模型多样性集成
内容提要
本文综述了预训练模型集成方法，提出识别下游任务模型子集的算法，在19项视觉任务中取得最优性能。研究还涉及拓扑数据分析用于文本和语音分析、异构深度集成提升鲁棒性、多样性度量改进泛化、神经网络集成缓解算法伤害、迁移学习解决实体共指消解，以及数据无关知识融合的模型合并方法。
延伸解读
拓扑数据分析：从可解释性到多模态分析
文章展示了拓扑数据分析（TDA）在自然语言处理和语音分析中的具体应用。例如，利用TDA提取BERT模型的拓扑特征，可区分人工生成文本与真实文本；在语音分析中，从Transformer注意力映射和嵌入中导出的拓扑与代数特征，使简单线性分类器优于微调分类头，并能揭示注意力头的功能角色。这些案例表明，TDA不仅提供可解释性，还能作为有效的特征提取工具，为文本和语音任务提供新视角。
多样性度量与集成鲁棒性的实证关联
文章通过多项研究强调了多样性在集成学习中的核心作用。例如，异构深度集成模型通过高集成多样性利用模型学习的异质性，提升鲁棒性；新的多样性度量方法特别适用于数据限制和协变量转移场景，能显著提高模型多样性和泛化性能。此外，对神经网络集成的实证分析探讨了多样性在三种常用损失函数和两种组合策略下的角色。这些工作共同表明，多样性不仅是理论概念，更是可度量、可优化的工程指标。
模型合并：数据无关的知识融合新途径
文章提出一种数据无关的知识融合方法，通过在参数空间内合并模型并引导最小化预测差异的权重，将不同训练数据集上的模型合并为一个模型。评估显示，该方法明显优于Fisher加权平均或模型集成等基线，且无需访问训练数据即可保留或提升个别模型性能。与多任务学习相比，模型合并更高效，适用于更广泛场景，为知识融合提供了有前景的替代方案。
集成学习在公平性与跨语言任务中的延伸
文章探讨了集成学习在缓解算法伤害和跨语言实体共指消解中的应用。研究发现，即使所有单独模型使用相同训练集、架构和设计选择，同质集成仍能提升最坏k值和少数群体表现，证明简单神经网络集成可有效遏制算法伤害。同时，基于集成和迁移学习的框架在阿拉伯语、荷兰语和西班牙语的实体共指消解上取得新的最先进结果，展示了集成方法在低资源语言任务中的潜力。
Q&A
如何从大量预训练模型中选出适合下游任务的子集？
本文提出了一种有效算法来识别下游数据集的预训练模型子集。在19项视觉任务适应基准中，即使从超过2000个预训练模型中选择，也能以较低推理预算实现最先进性能，并在ImageNet变体上对分布转移具有更好鲁棒性。
拓扑数据分析在自然语言处理中有什么应用？
利用拓扑数据分析（TDA）提取BERT模型的可解释拓扑特征，用于区分人工生成文本和真实文本，证明TDA对于包含表面和结构信息的NLP任务具有前景。
异构深度集成模型如何提升鲁棒性？
通过形式分析和实证评估，异构深度集成模型可以通过高集成多样性有效利用模型学习的异质性，从而提高集成的鲁棒性。
神经网络集成能减轻算法伤害吗？
研究发现，即使所有单独模型使用相同的训练集、架构和设计选择，同质集成仍能获得最坏k值和少数群体表现的提升。简单的神经网络集成可以有效减轻不同DNN分类器的不同影响，从而遏制算法伤害。
如何解决非英语语言的实体共指消解问题？
本研究提出了一种基于集成方法和迁移学习的框架以及一种低成本的迁移学习方法，用于解决非英语语言的实体共指消解问题，并在Arabic、Dutch和Spanish三种语言上取得了新的最先进结果。
模型合并与多任务学习相比有什么优势？
模型合并是一种数据无关的知识融合方法，通过在参数空间内合并模型并引导最小化预测差异的权重，将不同训练数据集上的模型合并为一个模型，在所有数据集领域表现良好并可推广到域外数据。它明显优于Fisher加权平均或模型集成等基线，且比训练多任务模型更高效，适用于更广泛的情况。
