Retrieval-based Speculative Decoding (RASD)

💡 原文英文,约100词,阅读约需1分钟。
📝

内容提要

本研究提出了RASD方法,结合检索技术与推测解码,解决了异域场景中解码效果差和验证时间成本高的问题。实验结果表明,RASD在多个任务上实现了推理加速,并具备良好的可扩展性。

🏷️

标签

➡️

继续阅读