三维医学图像分割的训练后网络压缩：通过 Tucker 分解减少计算工作量
内容提要
该研究提出了多种基于Tucker分解的网络压缩方法，旨在降低卷积和循环神经网络的复杂度，适用于移动设备。通过自适应维度调整和个性化分解，显著减少了模型大小和计算量，同时保持较高准确性，适用于多个数据集。
延伸解读
压缩效果与速度提升的差异
文章指出，在THETIS数据集上，Tucker分解压缩卷积网络后，内存压缩因子可达51倍，但实际计算速度提升却不足预期。这表明模型压缩并不总能直接转化为推理速度的提升，可能受限于硬件支持或分解后的计算模式。读者在评估压缩方法时，需同时关注存储和速度指标。
自适应与共享核心的压缩策略
ADA-Tucker通过自适应维度调整实现高维张量分解，其扩展SCADA-Tucker引入共享核心，在无需记录非零元素索引的情况下，使LeNet-5和LeNet-300的存储分别降低691倍和233倍。这种设计在保持准确度的同时，显著减少了模型存储，适合资源受限的移动设备。
循环神经网络压缩的进展
分层Tucker分解被用于压缩循环神经网络，相比TT-LSTM、TR-LSTM、BT-LSTM等现有模型，在不同数据集上同时提升了压缩比和测试准确度。此外，对门控循环单元RNN的再参数化研究表明，Tensor Train在序列建模中表现最佳，为RNN压缩提供了新思路。
个性化分解应对数据异质性
perTucker将张量数据分解为共享全局分量和个性化局部分量，以捕捉不同数据集间的异质性。在异常检测、客户分类和聚类等任务中，该方法被证明有效。这提示读者，当数据来源多样时，传统张量分解可能受限，而个性化分解能学习到更独特的表示。
Q&A
Tucker分解在网络压缩中的作用是什么？
Tucker分解用于压缩预训练卷积网络的卷积核，降低网络复杂度，适用于移动设备。
ADA-Tucker和SCADA-Tucker有什么特点？
ADA-Tucker和SCADA-Tucker通过自适应维度调整和扩展模型，显著减少模型存储，分别降低691倍和233倍。
如何提高循环神经网络的表示能力？
通过分层Tucker分解压缩循环神经网络，可以显著提高其表示能力和测试准确度。
个性化的Tucker分解有什么优势？
个性化的Tucker分解（perTucker）能更好地捕捉不同数据集间的异质性，适用于异常检测和客户分类等任务。
MACH算法的主要功能是什么？
MACH算法是一种新的采样算法，用于计算Tucker分解，适合处理大规模和计算密集型数据。
InfTucker模型的应用场景是什么？
InfTucker模型结合贝叶斯模型，适用于多元数据分析，能够处理多种数据类型和不确定性。
