本文介绍了一系列基于张量分解的神经网络压缩方法，这些方法在CIFAR-10数据集上显著降低了模型参数量，同时保持或提升了分类性能。主要方法包括贝叶斯张量化、Decomposable-Net和动态参数排除，展示了在卷积神经网络和循环神经网络中的应用潜力。

本文介绍了UniverSLU多任务学习模型，展示了其在语音分类和生成任务中的优越性能。研究探讨了使用自然短语作为提示的可解释性，并提出了一种新型深度RNN架构，提升了语义理解效果。此外，研究还涉及神经网络的压缩方法和多领域适应能力，证明了其在低资源环境下的有效性。

本文综述基于奇异值分解（SVD）的神经网络压缩与训练方法。SVD training通过正交正则化和奇异值剪枝降低矩阵秩，减轻计算负担；加权SVD可压缩Transformer语言模型；OIALR利用权重SVD的正交稳定性改进训练。无特征分解方法解决了深度网络中特征分解难优化的问题，基于SVD的参数化还能缓解梯度消失与爆炸，提升泛化性能。

该文汇总多项机器学习研究：RVFL网络可近似Lipschitz函数；edRVFL及其加权剪枝版本在UCI分类上优于深度前馈网络；图嵌入与直觉模糊集用于解决分类不平衡；SVD training压缩神经网络；FD-SVRG实现高维分布式分类；随机傅里叶特征推广贝叶斯潜变量建模；Internet Learning提升垂直联邦学习鲁棒性；低秩优化框架增强正交性；异步拟牛顿框架AsySQN减少通信轮次。

本文综述深度神经网络压缩与鲁棒性研究：分布鲁棒优化和结构化潜在代码可提升压缩系统鲁棒性；压缩与未压缩模型间对抗样本具有传递性，量化模型对整数精度敏感；量化训练可产生更稳定模型；对抗增强提升医学应用泛化鲁棒性；剪枝、量化等压缩技术一般不会削弱对抗鲁棒性，但不同方法效果存在差异。

该文综述基于奇异值分解与正交正则化的神经网络压缩与优化研究：利用正交正则化、奇异值剪枝和低秩训练降低权重矩阵秩以减少计算负担；提出牛顿迭代正交化、Pre-SVD正交梯度、正交深度网络等方法提升泛化与鲁棒性；并探讨低秩初始化、t-SVD鲁棒泛化、ReLU网络隐性偏差及加权SVD压缩Transformer语言模型，兼顾精度、鲁棒性与效率。

该文综述知识蒸馏压缩大规模神经网络的研究进展，涵盖多模态翻译模型压缩、基于检索的知识迁移、Transformer预训练模型蒸馏最佳实践、ProKT投影蒸馏、互信息知识迁移、无训练集蒸馏、分布匹配蒸馏、量化感知张量压缩等方法，并总结知识分类、训练方案、师生架构、蒸馏算法与应用，指出挑战与未来方向。

本文综述基于神经网络的图像与视频压缩技术，涵盖端到端图像压缩框架、HEVC深度学习视频编码、低复杂度视频压缩、DeepN-JPEG物联网图像压缩、点云编解码器、视频压缩攻击及面向机器任务的联合优化编解码器，展示其在极低比特率、带宽节省和任务准确性方面的优势与趋势。