本研究提出了一种基于子集修剪的渐进编码方法,旨在降低稀疏自编码器在多尺度特征处理中的计算成本。Matryoshka类型的稀疏自编码器在重构损失和语言建模损失方面表现更佳,而修剪后的稀疏自编码器在可解释性上更具优势,揭示了两者之间的权衡关系。
该文提出了一种数据驱动的方法来学习连续源的渐进编码,使用递归神经网络来学习分层编码器和解码器,并通过最小化渐进 Wyner-Ziv 编码问题的速率 - 失真函数上的变分界来训练模型。该方法能够明确检索与可伸缩嵌套量化类似的分层分组解决方案,并且速率 - 失真性能与整体 Wyner-Ziv 编码方法相当。
完成下面两步后,将自动完成登录并继续当前操作。