BASS: 批处理优化注意力的推测采样
原文中文，约1700字，阅读约需4分钟。
📝
内容提要
本文提出了一种新的自适应推测解码策略，旨在提高大型语言模型（LLMs）的推理速度和GPU利用率。通过批处理和多候选验证算法，显著提升了候选标记的接受率，达到或超过传统解码性能。该方法在多个模型和数据集上表现出色，能够在不改变模型架构的情况下实现加速，提升解码效率。
🔎
延伸解读
推测解码的瓶颈与突破
推测解码通过草稿模型生成候选标记，再由目标模型并行验证，从而加速自回归生成。然而，候选标记的接受率受模型、数据集和解码设置等因素限制，成为性能瓶颈。本文提出的批处理多候选验证方法，从草稿模型中采样多个候选分段并分批验证，显著提升了接受率，使加速效果更加稳定。
多候选验证的算法设计
为了在提升接受率的同时保持目标模型的分布，本文设计了高效的多候选验证算法。该算法通过逐步并行计算和新的采样技术，确保解码结果与标准自回归解码一致。这意味着在不改变模型架构、无需重新训练的情况下，即可为现有模型带来加速，降低了部署门槛。
性能表现与兼容性
在多个模型和数据集上的实验表明，该方法在候选标记接受率上取得显著改进，性能达到或超过固定长度推测解码方案。其优势在于自适应策略能根据上下文动态调整候选数量，从而更充分地利用GPU并行能力。此外，该方法与现有推测解码框架兼容，便于集成到已有推理流程中。
❓
Q&A
BASS方法如何提高大型语言模型的推理速度？
BASS方法通过自适应推测解码策略和批处理技术，提高了GPU利用率，从而加速推理速度。
BASS方法与传统解码性能相比如何？
BASS方法在候选标记的接受率上达到了或超过了传统解码性能。
BASS方法是否需要改变模型架构？
不需要，BASS方法可以在不改变模型架构的情况下实现加速。
BASS方法在不同模型和数据集上的表现如何？
BASS方法在多个模型和数据集上表现出色，显著提升了接受率。
BASS方法的多候选验证算法有什么优势？
该算法显著提升了候选标记的接受率，同时保持了目标模型的分布。
BASS方法如何支持现有模型的加速？
通过逐步并行计算和新的采样技术，BASS方法实现了无需重新训练或架构更改的加速。
🏷️
