C2T: A Classifier-Based Tree Construction Method for Inference Decoding

💡 原文英文,约100词,阅读约需1分钟。
📝

内容提要

本研究提出了一种新颖的C2T方法,解决了推测解码在构建令牌树和验证候选令牌时的低效问题。该方法通过轻量级分类器动态生成和修剪令牌树,显著提高性能,减少候选令牌总数25%,同时保持或改善接受长度。

🏷️

标签

➡️

继续阅读