基于数据无关的广义零样本学习
内容提要
本文综述广义零样本学习（GZSL）的挑战与分层分类方法，介绍代表性方法、基准数据集及应用。相关研究涵盖基于3D卷积网络的视频分类、特征细化方法FREE、语义分离框架、条件VAE、贝叶斯元类方法及GAN生成框架等，显著优于现有技术，并强调改进类别语义嵌入的重要性。
延伸解读
GZSL的核心挑战与评估要点
广义零样本学习（GZSL）要求模型同时识别可见类和未见类，这带来了可见类与未见类之间的识别冲突。文章指出，当前模型表现与理想语义嵌入之间存在差异，因此改进类别语义嵌入对提升GZSL性能至关重要。此外，评估GZSL需使用专门的评价指标，以平衡可见类和未见类的准确率，避免模型偏向可见类。
方法演进：从特征生成到语义分离
文章综述了多种GZSL方法，包括基于条件VAE的语义分离框架、特征细化方法FREE、贝叶斯元类方法以及基于GAN的生成框架。这些方法通过生成未见类特征、精炼视觉特征或分离语义一致表示来缓解数据不平衡问题。例如，语义分离框架利用相关性惩罚和关系网络确保分解表示的独立性与语义一致性，在多个基准数据集上提升了泛化能力。
应用扩展与未来方向
GZSL不仅用于图像分类，还扩展到视频分类等领域。文章提到一种基于可训练3D卷积神经网络的方法，用于视频分类中的零样本学习，并扩展了基准测试范式以解决对训练任务未知的测试任务。未来研究可能继续探索更丰富的语义嵌入、更有效的生成模型以及跨模态的知识迁移，以进一步提升GZSL在现实场景中的实用性。
Q&A
广义零样本学习（GZSL）主要面临哪些挑战？
GZSL 需要同时识别来自已知类别和未知类别的图像，主要挑战在于解决已知类和未知类之间的数据不平衡问题，以及识别来自已知类别与未知类别的图像时产生的冲突。
FREE 方法是如何提升广义零样本学习性能的？
FREE 采用特征细化模块，将语义-视觉映射引入到生成模型中，以精炼已见和未见类别样本的视觉特征，从而在五个基准数据集上表现优于当前最先进的方法。
语义分离框架在广义零样本学习中有什么作用？
该框架使用条件 VAE 将未见类别的视觉特征分解为与语义一致、不相关的潜在向量，并通过相关性惩罚和关系网络确保分解表示的独立性和语义一致性，从而在规范化和广义零样本学习任务中更具普适性。
贝叶斯元类方法如何解决零样本学习中的未见类识别问题？
该方法通过引入元类概念和在类周围实现贝叶斯层次结构，将数据似然性与本地和全局先验相结合，从而在归纳式零样本学习中恢复未见过的类。
GAN 在零样本学习中有哪些应用？
GAN 被用于开发生成式零样本学习框架，通过本体论知识表示和语义嵌入建模类间关系，以解决已知类和未知类之间的数据不平衡问题。
为什么改进类别语义嵌入对 GZSL 很重要？
研究结果表明当前模型表现与理想语义嵌入间存在差异，强调改进类别语义嵌入对于 GZSL 的重要性，这有助于提升模型识别已知和未知类别的能力。
