本研究提出了一种无损标记剪枝方法,以解决后交互神经信息检索模型(如ColBERT)在存储文档标记时的高内存需求。通过引入三种正则化损失和两种剪枝策略,确保在仅使用30%标记的情况下,模型性能得以保持。
本文提出了一种新的方法,通过全局边界对齐和局部纹理保护模块来解耦全局边界对齐和局部纹理保护任务,并通过一致性损失协调局部流场和全局边界对齐。通过预测身体部位的可见性掩模来处理遮挡,以防止纹理扭曲。引入了新的正则化损失(NIPR)来惩罚纹理完整性受损的区域,保持局部邻域中的纹理规则和连贯变形。在虚拟试穿数据集上的评估表明,该方法性能强于当前的 SOTA 方法。
该文介绍了深度神经网络中学习表示的信息最小性和不变性,以及通过正则化损失限制过拟合项的两种等效方式。作者展示了神经网络中学习到的表示组件的不变性和独立性在权重中的信息上限和下限是有界的。该理论能够量化和预测使用正则化损失时欠拟合和过拟合之间的尖锐相变,并阐明了损失函数、学习表示和泛化误差之间的关系。
完成下面两步后,将自动完成登录并继续当前操作。