ED-ViT：针对边缘设备的分布式推理视觉变换器
原文中文，约700字，阅读约需2分钟。发表于：。本研究解决了深度学习模型在资源受限的边缘设备上推理延迟和计算需求高的问题。我们提出了一种新颖的视觉变换器拆分框架ED-ViT，通过将模型划分为多个子模型并应用类别剪枝技术，显著降低了推理延迟和模型大小，同时保持了与原始模型相当的测试准确性。实验结果表明，ED-ViT在多个数据集上的推理延迟减少效果明显，提高了边缘设备的运算效率。
最近的研究提出了 DeViT 框架，通过将大型视觉转换器分解为多个小模型，实现高效协同推理，适用于边缘设备。该方法利用知识蒸馏和特征匹配模块提升小模型的性能。在 CIFAR-100 和 ImageNet-1K 数据集上，DeViT 在效率和准确性上表现优异。
