探索用于下游数据修剪的学习复杂性
内容提要
本文综述数据筛选与模型剪枝研究：利用困惑度等指标筛选高质量预训练数据，仅用30%数据即可保持性能；采用零样本结构化剪枝、稀疏正则化层选择及ContrAstive Pruning等方法压缩模型以提升效率。研究发现，模型缩小30%以上会显著削弱事实回忆，但缩小60%-70%仍保留上下文学习能力，二者受规模影响不同。
延伸解读
数据筛选的实用价值
文章指出，使用困惑度等简单指标筛选高质量预训练数据，仅用30%的原始数据就能改进基准模型。这意味着大部分预训练数据可能冗余，自动筛选方法能显著降低训练成本，同时保持甚至提升性能。
模型压缩的双重影响
研究发现，模型缩小30%以上会严重削弱事实回忆能力，但缩小60%-70%仍能保留上下文学习能力。这表明不同能力对模型规模的依赖不同，剪枝时需权衡任务需求，避免过度压缩损害关键功能。
剪枝方法的多样性
文章综述了零样本结构化剪枝、稀疏正则化层选择、ContrAstive Pruning等多种方法。这些方法在低计算量下能提升性能，或在极高稀疏度下保持模型知识，为不同场景下的模型压缩提供了灵活选择。
Q&A
如何利用困惑度来筛选高质量预训练数据？
通过比较数据质量的简单估算方法困惑度和更复杂、计算密集的评估方法的错误L2范数和记忆化，发现困惑度方法在去除数据噪声和提升预训练数据集质量方面具有较好的效果。仅使用原始训练数据的30%进行训练，就能改进基准模型，表明大部分预训练数据可被删除而保持性能。
模型剪枝对语言模型的事实回忆和上下文学习能力有什么不同影响？
将模型大小减少30%以上会显著降低回忆预训练中出现的事实的能力，但将模型大小减少60-70%则大致保留了模型在处理上下文信息时的各种方式，从长篇文本中检索答案到通过上下文示例学习参数化函数。密集扩展和权重剪枝都表现出这种行为，表明模型大小的扩展对于事实回忆和上下文学习具有本质上不同的影响。
ContrAstive Pruning (CAP) 是什么？它有什么优势？
ContrAstive Pruning (CAP) 是一种模型压缩框架，它保留了先前模型的任务不可知知识和任务特定知识，并证明了该方法在极高稀疏度情况下均能显著提高模型性能。
有哪些数据剪枝度量方法？它们的效果如何？
文章测试了十种不同的数据剪枝度量，发现现有大多数度量在ImageNet上表现不佳。作者开发了一种新的自监督剪枝度量，具有与最佳监督度量相当的性能。研究表明，发现好的数据剪枝度量可能是深度学习资源消耗大幅降低的一个可行途径。
零样本结构化剪枝如何提升模型性能？
使用预训练模型进行零样本结构化剪枝，在尽量减少计算量的情况下实现性能提升。实验证明，在低计算量条件下对预训练模型进行卷积过滤的剪枝可以带来超过20%的性能提升。
如何通过数据修剪提高多模态数据集的训练效率？
通过修剪大规模多模态数据集来提高训练效率，并通过筛选高质量数据集以降低训练成本，从而在ImageNet数据集上取得了更好的性能。
