DEV Community
·
构建Virtus：我如何微调视觉变换器以识别深度伪造
💡
原文英文，约1900词，阅读约需7分钟。
📝
内容提要
该项目开发了一款名为Virtus的深度伪造检测工具，基于视觉变换器（ViT）模型，因其在细节处理上的优势。通过Kaggle数据集，采用数据平衡和增强技术进行训练，最终实现99.2%的准确率，并发布在Hugging Face平台。
🎯
关键要点
- 该项目开发了一款名为Virtus的深度伪造检测工具。
- Virtus基于视觉变换器（ViT）模型，因其在细节处理上的优势。
- 项目使用Kaggle数据集进行训练，包含约190,000张真实和伪造人脸图像。
- 通过数据平衡和增强技术，最终实现99.2%的准确率。
- 模型选择了facebook/deit-base-distilled-patch16-224，因其轻量、高效和准确。
- 使用RandomOverSampler技术平衡数据集中的类别分布。
- 训练过程中使用了Hugging Face的Trainer API，训练时间约为2小时。
- 模型在测试集上的评估结果显示，准确率超过99%。
- 最终将模型发布在Hugging Face平台，方便其他人使用和分享。
❓
延伸问答
Virtus是什么？
Virtus是一款基于视觉变换器（ViT）模型的深度伪造检测工具。
Virtus的训练数据集包含什么？
Virtus使用了Kaggle数据集，包含约190,000张真实和伪造人脸图像。
Virtus的准确率是多少？
Virtus在测试集上的准确率超过99%，最终实现了99.2%的准确率。
为什么选择视觉变换器（ViT）作为基础模型？
视觉变换器在处理细节方面表现优越，能够更好地识别真实与伪造之间的微妙差异。
如何平衡训练数据集中的类别分布？
使用RandomOverSampler技术对少数类样本进行重复采样，以平衡类别分布。
Virtus是如何发布的？
Virtus被发布在Hugging Face平台，方便其他人使用和分享。
➡️
