FiRST: Finetuning Router-Selective Transformers for Input-Adaptive Latency Reduction

💡 原文英文,约100词,阅读约需1分钟。
📝

内容提要

本研究提出FiRST算法,旨在降低自回归大型语言模型在资源受限环境中的推理延迟。该算法通过自适应层选择和任务导向的微调,提高了部署效率和特定任务的准确性。

🏷️

标签

➡️

继续阅读