KS-Lottery: 查找多语言模型的认证彩票
内容提要
该文综述彩票假设在自然语言处理与强化学习中的应用：通过压缩比筛选“中奖子网络”，可匹配全模型性能，并出现相位转变的“超级彩票”，提升BERT微调与多任务学习。研究还扩展到视觉语言模型、深度生成模型、扩散模型及领域通用模型，并用于模型版权保护。
延伸解读
彩票假设的核心机制
彩票假设的核心在于通过压缩比筛选出“中奖子网络”，这些子网络能够匹配全模型的性能。文章指出，当压缩比达到临界点时，会出现相位转变现象，此时被删减对临界点最立竿见影的超票被称为“超级彩票”。实验证明，超级彩票对BERT-base和BERT-large的单任务微调平均得分分别有0.9和1.0的提升，多任务学习时的共享也取得了提升。
跨领域应用与扩展
彩票假设已从自然语言处理扩展到强化学习、视觉语言模型、深度生成模型和扩散模型等领域。在视觉语言模型中，存在可训练的子网络，通过精细修剪结构实现高精度计算并具有良好的通用性。在深度生成模型中，中奖彩票具有跨模型的传递性，可以帮助训练多种模型，并通过early-bird tickets大幅减少训练时间和FLOPs。在扩散模型中，首次发现了在稀疏度为90%-99%时仍能保持性能的子模型。
模型版权保护的新途径
文章提到，彩票假设还可用于模型版权保护。通过使用基于图形签名和触发器集的稀疏拓扑信息进行彩票验证，可以防止知识产权侵权和确认所有权。实验表明，该方法对不同模型和攻击具有鲁棒性。这为模型的知识产权保护提供了一种新的技术手段。
Q&A
彩票假设在自然语言处理中有什么应用？
在自然语言处理中，彩票假设被用于预训练语言模型，通过压缩比筛选出“中奖子网络”，这些子网络能匹配全模型性能。当压缩比达到临界点时，会出现相位转变现象，产生“超级彩票”，对BERT-base和BERT-large的单任务微调平均得分分别提升0.9和1.0，多任务学习也有提升。
什么是超级彩票？
超级彩票是指在彩票假设中，当压缩比达到某个临界点时，性能出现相位转变现象，此时被删减对临界点最立竿见影的超票。实验证明它们对BERT-base和BERT-large的单任务微调平均得分分别有0.9和1.0的提升。
彩票假设如何用于模型版权保护？
通过使用基于图形签名和触发器集的稀疏拓扑信息进行彩票验证，可以防止知识产权侵权和确认所有权。实验表明，该方法对不同模型和攻击有鲁棒性。
彩票假设在扩散模型中有哪些发现？
将彩票假设应用于扩散模型，首次在基准测试上发现了在稀疏度为90%-99%时仍能保持性能的子模型，并提出了一种可以在模型的不同层之间具有变化稀疏度的方法。
彩票假设在视觉语言模型中有何应用？
在视觉语言模型中，实证研究发现大规模预训练VL模型中存在可训练的子网络，该子网络可通过精细修剪结构实现高精度计算并具有良好的通用性。
彩票假设如何帮助训练深度生成模型？
彩票假设可适用于深度生成模型，能找到中奖彩票，这些中奖彩票有跨模型的传递性，可以帮助训练多种深度生成模型，并通过early-bird tickets的方式大幅减少训练时间和FLOPs。
