本研究提出了GRIN（梯度信息混合专家训练）来解决混合专家模型在稀疏计算中的训练挑战。GRIN在语言建模任务中的性能超过了同数据集下的7B稠密模型，具有极大的应用潜力。

本文介绍了在PaddlePaddle中使用稀疏计算应用稀疏ResNet，通过稀疏格式存储和处理大部分元素为零的矩阵或张量，提高计算和存储效率。稀疏ResNet仅在非零数据点上进行操作，有效处理大规模稀疏数据集，提高计算效率，降低存储需求。

该文汇总了多项图像超分辨率研究：WaveMixSR用小波变换替代Transformer以节省资源；CAMixer结合注意力与卷积用于SAR变化检测；SMSR学习稀疏掩模跳过冗余计算；CoSeR融合语言理解生成认知嵌入；内容感知比特映射优化混合精度；多任务学习保留结构细节；ConvFormer以卷积替代自注意力；两阶段注意力网络由粗到细重建；光流与孪生网络提升低分辨率视频动作识别；CiaoSR实现任意比例超分。