重新审视微批剪枝：通过梯度操控实现自适应数据修剪
原文中文，约400字，阅读约需1分钟。发表于：。本研究探讨了微批剪枝在自动语音识别模型中的表现提升机制，解决了为何特定微批大小有益的研究空白。通过收集具体训练样本可能影响模型收敛性的假设，分析表明微批剪枝能在附加常数偏差的条件下提升收敛速度，并验证其在视觉和语言模型中的有效性，显示出显著的性能提升。
研究发现，CLIP预训练在面对数据不平衡时表现出鲁棒性和学习泛化能力。通过控制实验，揭示了CLIP预训练的伪任务能够消除主导类别的偏差并实现学习信号的平衡。此外，使用更具描述性的语言监督、更大规模的数据和更广泛的开放世界概念可以提高CLIP的鲁棒性和区分能力。该研究对CLIP在数据不平衡情况下的泛化机制提供了有价值的启示。验证实验表明，在不平衡数据上训练的模型可以达到CLIP级别的性能。
