飞桨推出的FlashMask技术通过列式稀疏掩码表示方法,显著降低了Transformer大模型训练中的冗余计算和存储需求。与传统稠密掩码相比,FlashMask在训练速度上提升了1.65至3.22倍,支持更长序列的高效训练,且不影响模型精度。该技术适用于多种下游任务,推动了大语言模型的发展。
本文提出了一种基于去中心化通信协议的个性化联邦学习框架,通过个性化稀疏掩码优化本地模型,降低通信和计算成本。研究了DFedAlt和FedDST等方法,以提高模型性能和训练速度,并解决通信开销和一致性问题。通过优化资源利用,提出了更高效的分布式学习方案,增强了隐私保护和学习效率。
该文综述特征选择研究,涵盖自适应特征选择与二进制掩蔽、FM模块、SLM稀疏掩码、MaskFeat视频预训练、Cloak隐私保护、Mask-BERT等方法,通过联合优化、可学习掩码和选择性遮蔽动态适应特征重要性,以提升模型准确率并降低计算与隐私泄露。
该文综述SAM类优化算法研究:AdaSAM在随机非凸环境下收敛速度为O(1/√(bT))并具线性加速;GA-SAM按梯度强度自适应寻找平坦极小值;高效SAM变体用随机权重扰动和锐度敏感数据选择节省至多60%算力;Sparse SAM稀疏掩码方案理论证明同速收敛并平滑损失;SAM在鞍点收敛不稳定、扩散较差,可用动量与批大小缓解;还提出SS-SAM调度方案和LookSAM降低开销。
完成下面两步后,将自动完成登录并继续当前操作。