无需训练集的两阶段深度学习用于光谱数据去噪
内容提要
该文综述多项无监督与半监督深度学习研究，涵盖噪声标签学习、图像去噪、语义分割、语音去噪、高光谱解混及OCT降噪等。核心是利用自监督、知识蒸馏、盲区网络等减少对干净标注的依赖，在Pascal VOC、MS-COCO、ImageNet等数据集上取得与最先进方法相当的效果。
延伸解读
无监督与半监督：降低对干净标注的依赖
文章综述的多项研究都围绕一个共同目标：减少对干净标注数据的依赖。例如，2018年2月的工作通过识别噪声标注中标签准确度较高的部分，结合半监督学习训练网络；2019年10月的方法仅需每个训练样本的单个噪声实现和噪声分布统计模型，无需干净或带噪训练数据。这些思路表明，在光谱数据去噪等场景中，当获取干净数据成本高昂时，自监督和半监督是可行的替代路径。
盲区网络与自监督：无需参考数据的去噪思路
2019年1月的研究采用具有感受野盲区的网络来消除对参考干净图像的需要，从而基于有噪声图像的非组织集合训练高质量去噪模型。这种盲区设计让网络无法看到输入中的对应像素，迫使它从周围上下文预测该像素，实现自监督去噪。该结果质量与最先进的神经网络去噪器相当，为光谱数据去噪提供了一种无需配对训练集的思路。
跨领域方法借鉴：从图像、语音到高光谱
文章涵盖图像去噪、语义分割、语音去噪、高光谱解混和OCT降噪等多个领域。例如，2017年4月的无监督非线性高光谱解混方法通过双分支多任务学习同时学习端元和丰度；2017年6月的语音去噪采用非因果扩张卷积和预测目标场。这些跨领域方法虽然任务不同，但都利用自监督、知识蒸馏或盲区网络来减少对干净标注的依赖，其思路可相互借鉴。
两阶段框架与知识蒸馏：提升无配对学习效果
2020年8月提出的两阶段框架结合自监督学习和知识蒸馏来促进无配对洗涤网络的学习，在合成和真实噪声图像的定量和定性评估中表现良好。两阶段设计通常先利用自监督进行预训练或特征学习，再通过知识蒸馏将知识迁移到目标网络，从而在缺乏配对数据时仍能取得较好效果。这为光谱数据去噪提供了一种可参考的训练策略。
Q&A
无监督深度学习用于图像去噪时，为什么不需要干净训练数据？
因为该方法仅需每个训练样本的单个噪声实现和噪声分布的统计模型，通过盲区网络消除对参考数据的需要，从而无需干净训练数据或带噪训练数据。
两阶段框架在无配对洗涤网络学习中是如何结合自监督和知识蒸馏的？
该框架通过自监督学习进行预训练，再通过知识蒸馏促进无配对洗涤网络的学习，在合成和真实噪声图像的定量和定性评估方面表现良好。
无监督方法在Pascal VOC和MS-COCO等数据集上的表现如何？
通过基于传统光谱分割方法，将图像分解为自我监督网络的特征亲和矩阵的拉普拉斯特征向量，对场景中的对象进行定位和语义分割，在Pascal VOC、MS-COCO等复杂数据集上取得了显著的定位和分割优势。
针对OCT噪声降低的few-shot监督学习框架有什么优势？
该框架在训练速度和培训内容方面都有巨大的提高，并为OCT不同成像系统的域偏移问题提出了可能的解决方法。
无监督非线性高光谱解混合方法是如何工作的？
通过结合通用非线性模型而不做特定假设，引入两个分支：一方面通过重构高光谱图像的行来学习端元，另一方面通过对应图像的列来学习丰度值，并利用多任务学习强制两个分支协同工作，从而提高解混合网络的性能。
在语音去噪中，基于非因果扩张卷积的判别式模型适应方法相比传统方法有何改进？
该方法采用监督学习方式最小化回归损失，预测目标场而不是单个目标样本，比传统幅度谱法的维纳滤波法具有更好的计算性能和感知评估效果。
