Janus:动态网络环境下的协作视图变换器

📝

内容提要

本研究针对视图变换器(ViTs)在动态网络环境中运行时的高延迟和性能下降问题,提出了一种新的框架Janus。Janus通过在云端和边缘设备上协作执行ViT模型,结合了高效的令牌裁剪技术和精心设计的模型分割策略,显著提高了处理速度和准确性,并大幅降低了通信开销。实验结果显示,Janus的吞吐量最高提高5.15倍,延迟违约率降低98.7%。

🏷️

标签

➡️

继续阅读