本研究提出FiRST算法，旨在降低自回归大型语言模型在资源受限环境中的推理延迟。该算法通过自适应层选择和任务导向的微调，提高了部署效率和特定任务的准确性。

FiRST: Finetuning Router-Selective Transformers for Input-Adaptive Latency Reduction
BriefGPT - AI 论文速递
BriefGPT - AI 论文速递 ·
👤 个人中心
在公众号发送验证码完成验证