南京大学 | MIETT：面向加密流量分类的多实例Transformer模型
💡
原文中文，约3600字，阅读约需9分钟。
📝
内容提要
本文提出了一种多实例加密流量转换器（MIETT），通过双层注意力机制有效捕捉token级和数据包级特征。引入的预训练任务增强了模型对流量结构和包顺序的理解，实验结果表明MIETT在多个数据集上的分类性能优于现有方法。
🎯
关键要点
- 提出了一种多实例加密流量转换器（MIETT），通过双层注意力机制捕捉token级和数据包级特征。
- 传统基于端口或统计特征的分类方法逐渐失效，深度学习依赖大量标注数据。
- 现有方法主要侧重于单个数据包特征建模，忽略数据包间的关联性。
- MIETT结合数据包注意力和流注意力机制，增强对流量结构和包顺序的理解。
- MIETT模型架构包括tokenization、packet representation和flow representation三个步骤。
- MIETT引入TLA架构以保留流量层次结构，提高计算效率，捕捉数据包间依赖关系。
- 模型训练分为预训练和微调两个阶段，预训练通过MFP、PRPP和FCL任务学习流量特征。
- 实验在多个数据集上评估，MIETT在准确率和F1分数上优于传统深度学习方法。
- MIETT模型在CrossPlatform (Android)上准确率提升8.27%，F1分数提升14.66%。
- 本文贡献包括新颖的MIETT架构和新型预训练任务，验证了其在加密流量分类中的有效性。
❓
延伸问答
MIETT模型的主要创新点是什么？
MIETT模型的主要创新点是引入了双层注意力机制（TLA），有效捕捉流量中token级和数据包级的关系，并结合了新型的预训练任务。
MIETT模型如何处理加密流量的特征？
MIETT模型通过结合数据包注意力和流注意力机制，增强对流量结构和包顺序的理解，从而有效捕捉加密流量的特征。
MIETT模型的训练过程包括哪些阶段？
MIETT模型的训练过程包括预训练和微调两个阶段，预训练通过特定任务学习流量特征，微调则优化模型用于最终分类。
MIETT在实验中表现如何？
实验结果表明，MIETT在多个数据集上均显著提升了准确率和F1分数，尤其在CrossPlatform (Android)上，准确率提升8.27%，F1分数提升14.66%。
MIETT模型的架构包含哪些关键步骤？
MIETT模型的架构包含tokenization、packet representation和flow representation三个关键步骤。
MIETT模型引入了哪些预训练任务？
MIETT模型引入了掩码流预测（MFP）、数据包相对位置预测（PRPP）和流对比学习（FCL）三个预训练任务。
➡️
