TIE-KD： 基于教师独立和可解释的知识蒸馏的单目深度估计
内容提要
本文综述知识蒸馏的最新进展，提出了KED、TIE-KD、CKD、e²KD、IE-KD、EKD、MTKD、DearKD和Monitored Distillation等方法，分别从教师解释、top-1预测、少教师推理、解释相似度、继承探索、评估指标、多教师、早期归纳偏差和无真值深度估计等角度改进蒸馏，实验均优于基准。
延伸解读
知识蒸馏的多样化改进方向
文章综述了多种知识蒸馏方法，如KED、TIE-KD、CKD等，分别从教师解释、top-1预测、少教师推理等角度进行改进。这些方法表明，知识蒸馏的研究已不再局限于传统的预测匹配，而是扩展到利用教师的解释、减少教师调用、多教师融合等更丰富的维度，为不同场景下的模型压缩提供了灵活的选择。
少教师推理与对比学习的结合
针对大规模教师模型推理成本高的问题，CKD方法通过对比学习鼓励学生理解教师对样本解释的微妙差异，从而在有限教师调用下获得额外学习信号。这一思路将教育原则引入蒸馏，为降低对专有教师模型的依赖提供了新途径，尤其适合教师模型难以频繁访问的实际应用。
无真值深度估计的蒸馏实践
Monitored Distillation方法在无地面真值数据的情况下，结合无监督训练和盲集成学习，从单张图片和稀疏点云中获取稠密深度信息。实验显示其在VOID数据集上优于盲集成和无监督基线，并与有监督方法保持可比性，这为缺乏标注数据的深度估计任务提供了可行的蒸馏方案。
Q&A
TIE-KD 是什么？它主要解决了知识蒸馏中的什么问题？
TIE-KD 是一种基于教师独立和可解释的知识蒸馏方法，用于增强知识蒸馏。它发现知识来源于教师的 top-1 预测，通过引入层次排序损失和迭代蒸馏等措施，解决了传统知识蒸馏中教师依赖性强、解释性不足的问题，实验证明其优于基准模型，具有更高的潜力和泛化性能。
知识解释蒸馏（KED）框架是如何工作的？它有什么优势？
KED 框架通过引入超特征解释教师，允许学生不仅从教师的预测中学习，还从教师的解释中学习。它使用卷积神经网络降低复杂性、隐藏表示蒸馏方法扩充，并使用嵌套数据集处理有限的训练数据。实验证明，KED 学生可以显著优于类似复杂度的 KD 学生。
在少教师推理场景下，有哪些知识蒸馏方法被提出？它们的效果如何？
针对少教师推理场景，提出了面向少教师推理知识蒸馏（FTI KD）和比较式知识蒸馏（CKD）。FTI KD 旨在减少对教师模型推理的依赖；CKD 鼓励学生模型理解教师模型对样本解释的微妙差异，无需额外教师调用，并扩展到样本组。实验表明 CKD 始终优于最先进的数据增强和知识蒸馏技术。
解释增强型知识蒸馏（e²KD）是如何提高学生模型性能的？
e²KD 通过优化经典 KD 损失和教师与学生生成的解释的相似度，显著提高准确性和学生-教师一致性，确保学生从教师那里得到正确的原因和相似的解释。它能适应不同模型架构、训练数据量，甚至使用预计算的“近似”解释。
IE-KD 框架是如何设计的？它取得了什么效果？
IE-KD 框架将学生模型分成继承和探索两部分。继承部分通过相似度损失将已有知识从教师模型转移到学生模型，探索部分通过不相似度损失鼓励学生模型学习与继承部分不同的特征表示。实验结果表明，IE-KD 能够提高学生网络的表现，达到 SOTA 水平。
Monitored Distillation 方法在无地面真值数据的情况下如何实现深度估计？效果如何？
Monitored Distillation 采用可适应的知识蒸馏方法结合无监督训练和盲集成学习，能在不存在地面真值数据的情况下，从单张图片、相应的稀疏点云和内置集成模型中获取稠密的深度信息。在 VOID 室内场景数据集上，它比盲集成基线算法效果提高了 17.53%，比无监督方法效果提高了 24.25%，且与最好的有监督方法保持可比性。
