HMI: Hierarchical Knowledge Management for Efficient Multi-Tenant Inference

💡 原文英文,约100词,阅读约需1分钟。
📝

内容提要

本研究提出了一种名为HMI的多租户推理系统,通过构建分层预训练语言模型(hPLMs),在单个GPU上高效管理多达10,000个模型,确保推理的准确性。

🏷️

标签

➡️

继续阅读