MAST：模型无关稀疏化训练

BriefGPT - AI 论文速递 · 2023-11-27T00:00:00Z

本研究提出了一种新的优化问题形式，通过稀疏化感知的优化方法增强了模型训练的理论理解。通过引入预训练模型和随机草图运算符，实现了更紧凑的收敛速度和放松了假设。涵盖了Dropout和稀疏训练等重要技术。