BriefGPT - AI 论文速递
·
OnDev-LCT: 面向联合学习的设备本地轻量级卷积变换器
原文中文，约300字，阅读约需1分钟。
📝
内容提要
提出了OnDev-LCT，一种适用于具有有限训练数据和资源的设备的轻量级卷积变换器。通过高效深度可分离卷积和多头自注意机制，提取局部特征和全局表示。实验证明，在参数和计算需求更低的情况下，优于现有的轻量级视觉模型。适用于具有数据异质性和通信瓶颈的FL场景。
🎯
关键要点
-
提出了OnDev-LCT，一种适用于有限训练数据和资源的设备的轻量级卷积变换器。
-
模型通过高效深度可分离卷积提取局部特征。
-
使用多头自注意机制隐式捕获图像的全局表示。
-
实验证明该模型在参数和计算需求更低的情况下优于现有轻量级视觉模型。
-
适用于具有数据异质性和通信瓶颈的联邦学习场景。
🏷️
