彩票适应性：减轻 LLM 中的破坏性干扰
内容提要
本文探讨了大规模预训练模型中的可训练子网络，利用彩票票据假设（LTH）进行模型剪枝，达到80%稀疏度而不影响性能。研究提出KS-Lottery方法，识别有效参数集，确保微调性能与全面微调相当。实验表明，较小神经网络更易受益于LTH，获得更好训练效果。
延伸解读
彩票假设在LLM微调中的新进展
文章介绍了KS-Lottery方法，通过Kolmogorov-Smirnov检验分析微调前后参数分布变化，识别出在多语言微调中有效的少数LLM参数集。理论证明该方法能在嵌入层找到中奖票，仅微调这些参数即可达到与全面微调相当的性能，且参数数量更少。实验还发现，微调LLaMA中18个标记的嵌入层就足以实现翻译性能。
稀疏子网络的普遍性与高效性
多项研究表明，彩票假设能应用于物体识别、实例分割、关键点预测及扩散模型等任务，在稀疏度80%至99%时仍保持性能。例如，在迁移学习任务中，减少90-95%权重的子网络能达到或超过原始网络准确度。这显示大规模预训练模型中存在高度稀疏的可训练子网络，为高效计算提供了可能。
模型大小与彩票假设的受益关系
文章指出，在可接受的神经网络大小下，较小的神经网络更容易受益于彩票假设，并能获得更好的训练效果。这意味着对于资源受限的场景，采用较小模型结合彩票假设可能更有效。但这一结论基于特定实验，实际应用中需结合任务和模型结构进一步验证。
Q&A
什么是彩票票据假设（LTH）？
彩票票据假设（LTH）是一种方法，通过识别神经网络中的有效参数集，实现高稀疏度而不影响模型性能。
KS-Lottery方法的主要贡献是什么？
KS-Lottery方法通过识别有效参数集，确保微调性能与全面微调相当，提升了多语言微调的效果。
大规模预训练模型中可训练子网络的优势是什么？
可训练子网络可以通过精细修剪实现高精度计算，并在多个任务中表现出良好的通用性。
实验结果显示小型神经网络在LTH中的表现如何？
实验表明，较小的神经网络更易受益于LTH，能够获得更好的训练效果。
如何实现80%的稀疏度而不影响性能？
通过彩票票据假设（LTH）方法，可以在不影响性能的情况下实现80%的稀疏度。
微调LLaMA模型需要多少参数才能达到翻译性能？
微调LLaMA模型只需18个标记的嵌入层参数即可达到翻译性能。
