本文探讨了知识蒸馏中软标签训练所需的神经元数量显著少于硬标签训练的原因。研究表明，软标签训练在准确性上优于硬标签，尤其在数据集难度增加时，神经元需求可低至$Oigg(rac{1}{eta^2 heta}igg)$。

该研究探讨了通过软标签和参数剪枝等数据集精炼技术，提高模型准确率并减少数据集大小。提出的多种策略在多个数据集上表现优越，强调数据质量对机器学习性能的重要性，并挑战传统精炼方法。

本文探讨了数据集蒸馏技术，提出通过合成标签和新优化算法提升深度学习模型性能。研究表明，软标签显著提高模型准确率，并提出GIFT方法以优化标签利用，增强数据集蒸馏效果。

本文探讨了数据集蒸馏的多种方法及应用，提出使用合成标签和元学习算法以提升模型性能。研究表明，软标签在数据集精馏中具有显著优势，并强调损失函数选择的重要性。新方法GIFT有效提升了数据集蒸馏效果，且不增加计算成本。

本研究提出了一种新的视觉领域适应CNN架构，利用未标记和稀疏标记数据实现域不变性优化，并通过软标签分布匹配损失提升性能。同时，研究探讨了多模态模型融合、动态转移方法及知识融合策略，显示出在无标注数据情况下的有效性和高效性。

本文提出了一种基于未标注视频数据的无监督目标检测器自适应方法，通过利用现有检测器的高置信度检测结果和跟踪器获取时序提示来自动获取目标数据标签，并通过修改知识蒸馏损失函数和软标签的分配方法进行重新训练。实验结果表明该方法有效地利用了追踪获取的困难样本，使用蒸馏损失函数的软标签优于硬标签，是一种简单且不依赖超参数的无监督目标检测器自适应方法。

本文介绍了一种名为ViLTA的新方法，通过交叉蒸馏生成软标签，利用上下文合成硬负样本，提高图像-文本匹配的难度，取得更好的性能。实验证明了ViLTA在视觉语言预训练中的有效性和潜力。

知识蒸馏方法通过共享基于温度的软最大函数传递软标签。研究者提出了一种新的预处理方法，通过设置温度为logit的加权标准差，并在应用softmax和Kullback-Leibler散度之前进行Z分数预处理标准化，以提高现有基于logit的蒸馏方法的性能。实验结果表明，该方法在CIFAR-100和ImageNet上表现出显著优越性。

本文提出了一种基于自蒸馏的变压器模型，通过设计分层门控融合策略动态学习模式之间的权重，并将软标签作为额外的训练监督，学习更具表现力的模式表示。实验证明该模型在IEMOCAP和MELD数据集上优于之前的最先进基线模型。

该文介绍了一种基于SNOiC的开放意图分类模型，通过软标签和噪声混合策略，实验结果表明该模型在识别开放意图方面取得了较好的性能，并且相较于现有模型有所改进。同时，还进行了消融研究，创建了三个模型变体，以验证SNOiC模型的效果。

本文介绍了一种名为ViLTA的新方法，通过交叉蒸馏生成软标签，提高模型稳健性，并利用上下文合成硬负样本来增加图像-文本匹配的难度。实验证明ViLTA在视觉语言任务上表现出更好的性能。