FREE框架解决自回归语言模型推理延迟问题，包括浅层-深层模块和同步并行解码，自适应阈值估计器利用Beta混合模型确定合适的置信阈值。实验证明，该框架在生成任务中表现优越。

具备快速且稳健的同时并行解码的自回归语言模型提前退出框架
BriefGPT - AI 论文速递
BriefGPT - AI 论文速递 ·
👤 个人中心
在公众号发送验证码完成验证