本研究提出TPI-LLM系统，通过优化内存调度和通信管理，解决边缘设备在大规模模型推理时的计算、内存和带宽限制，使70B模型在内存受限设备上高效运行，降低延迟和内存占用。

低资源边缘设备高效服务70B规模大模型的TPI-LLM
BriefGPT - AI 论文速递
BriefGPT - AI 论文速递 ·
👤 个人中心
在公众号发送验证码完成验证