CITER: Collaborative Inference for Efficient Large Language Models Based on Token-Level Routing

💡 原文英文,约100词,阅读约需1分钟。
📝

内容提要

本文提出了CITER框架,通过令牌级路由策略实现小型与大型语言模型的高效协作,显著降低推理成本,同时保证生成高质量内容,适用于实时和资源受限的应用。

🏷️

标签

➡️

继续阅读