Clover-2：精确的回归式轻量级推理解码
内容提要
Clover是一种新推理解码算法，通过将顺序知识融入并行解码，提高了预测准确率和效率。实验证明，Clover在Baichuan-Small和Baichuan-Large上分别提高了最多91%和146%。该算法结合了经典与新型推测解码技术，显著提升了大型语言模型的解码效率，降低了推理时间。
延伸解读
Clover 在推测解码技术中的定位
Clover 结合了经典双模型推测解码和单模型方法 Medusa 的优势。它采用轻量级草稿头并引入循环依赖设计，从而能够使用波束搜索快速过滤候选项。这种方法避免了完整 Transformer 架构的复杂性，同时保留了单模型设计的简洁性，无需依赖 Medusa 中的数据依赖树注意结构。
性能提升的具体表现
实验表明，Clover 在 Baichuan-Small 和 Baichuan-Large 上分别比基准结果提高了最多 91% 和 146%。与之前效果最好的方法 Medusa 相比，在相同模型上分别提升了最多 37% 和 57%。这些数据表明 Clover 在推理解码的准确率和效率方面均有显著改进。
实际部署的潜在优势
Clover 通过引入轻量级草稿模型，显著提高了大型语言模型解码过程中的效率，减少了推理时间。其自我推测解码方法无需辅助模型，通过草稿和验证两个阶段加速推理，且最终输出与原始模型完全一致，保持了输出质量。这种即插即用的特性使其成为经济高效的推理加速方案。
Q&A
Clover算法的主要优势是什么？
Clover算法通过将顺序知识融入并行解码，提高了预测准确率和整体效率。
Clover在Baichuan-Small和Baichuan-Large上的性能提升如何？
Clover在Baichuan-Small和Baichuan-Large上分别提高了最多91%和146%。
Clover是如何结合经典与新型推测解码技术的？
Clover结合了经典的双模型推测解码方法和较新的单模型方法Medusa的优势。
Clover的自我推测解码方法是怎样的？
Clover的自我推测解码方法通过草稿和验证两个阶段加速推理过程，无需辅助模型。
Clover如何提高大型语言模型的解码效率？
Clover通过引入轻量级的草稿模型，显著提高了大型语言模型在解码过程中的效率。
Clover在推理时间上有何改进？
Clover显著减少了推理时间，相较于以前的方法，提升了效率和加速比。
