预训练视觉模型的实用连续遗忘

💡 原文英文,约100词,阅读约需1分钟。
📝

内容提要

本研究提出了一种新颖的Group Sparse LoRA (GS-LoRA)方法,有效解决了在隐私和安全方面删除预训练视觉模型中不必要信息的问题。实验结果表明,该方法在面部识别、物体检测和图像分类任务中实现了信息遗忘,影响最小。

🎯

关键要点

  • 本研究提出了一种新颖的Group Sparse LoRA (GS-LoRA)方法。
  • GS-LoRA方法有效解决了在隐私和安全方面删除预训练视觉模型中不必要信息的问题。
  • 该方法通过细化Transformer块中的FFN层,选择性地删除特定信息,同时保留其他知识。
  • 实验结果表明,GS-LoRA在面部识别、物体检测和图像分类任务中实现了信息遗忘,影响最小。
➡️

继续阅读