量子位
·
蚂蚁数科提出创新跨域微调框架ScaleOT，入选全球AI顶会AAAI 2025
内容提要
蚂蚁数科的ScaleOT跨域微调框架在AAAI 2025大会上获认可，提升隐私保护50%，且不影响模型性能。该框架通过强化学习评估模型层的重要性，动态保留核心层并对原始层进行“打码”，有效平衡隐私与性能，适用于金融等行业。
关键要点
-
蚂蚁数科提出的ScaleOT跨域微调框架在AAAI 2025大会上获认可。
-
ScaleOT框架在不影响模型性能的情况下，提升隐私保护效果50%。
-
该框架通过强化学习评估模型层的重要性，动态保留核心层并对原始层进行打码。
-
ScaleOT显著降低了90%的算力消耗，为百亿级参数模型的跨域微调提供高效解决方案。
-
当前主流的跨域微调方法存在性能损失和高算力成本的问题。
-
ScaleOT框架可以根据不同场景需求灵活组装，实现隐私强度可调节。
-
该算法已融入蚂蚁数科的摩斯大模型隐私保护产品中，并通过信通院测试。
延伸解读
隐私保护与模型性能的平衡
ScaleOT框架通过强化学习评估模型层的重要性，动态保留核心层并对原始层进行打码，成功在隐私保护和模型性能之间找到平衡。这一创新方法不仅提升了隐私保护效果50%，还确保了模型性能几乎无损，适合金融等对隐私要求高的行业应用。
算力消耗的显著降低
与传统的跨域微调方法相比，ScaleOT框架显著降低了90%的算力消耗。这一优势使得百亿级参数模型的跨域微调变得更加高效，降低了企业在模型训练过程中的成本，尤其在资源有限的情况下，具有重要的实用价值。
灵活性与适应性
ScaleOT框架的灵活组装特性使其能够根据不同场景需求调节隐私保护强度。这种适应性为企业在不同应用场景中提供了更多选择，能够更好地应对不断变化的隐私保护要求，提升了技术的市场竞争力。
延伸问答
ScaleOT框架的主要创新点是什么？
ScaleOT框架通过强化学习评估模型层的重要性，动态保留核心层并对原始层进行打码，从而在不影响模型性能的情况下提升隐私保护效果50%。
ScaleOT框架如何解决隐私保护与模型性能之间的矛盾？
ScaleOT框架通过动态保留模型的核心层并对原始层打码，有效降低模型性能损耗，同时提升隐私保护强度。
ScaleOT框架在算力消耗方面的表现如何？
ScaleOT框架显著降低了90%的算力消耗，为百亿级参数模型的跨域微调提供了高效解决方案。
ScaleOT框架适用于哪些行业？
ScaleOT框架特别适用于金融等行业，解决数据和模型的隐私安全问题。
ScaleOT框架的隐私保护强度如何调节？
ScaleOT框架可以根据不同场景需求灵活组装，实现隐私强度的可调节。
ScaleOT框架的研究成果在AAAI 2025大会上获得了什么认可？
ScaleOT框架因其创新性入选了全球AI顶会AAAI 2025的口头报告论文。
