speculative-sampling笔记
内容提要
投机采样是一种加速大语言模型推理的方法，利用小模型（草稿模型）和大模型（目标模型）实现高效输出。该方法通过在明显序列上保持一致性，允许目标模型一次输出多个token，并修改了拒绝采样公式，结合标准采样方法，提高了接受率，且可与量化和多查询注意力等技术结合使用。
关键要点
-
投机采样是一种加速大语言模型推理的方法，使用小模型（草稿模型）和大模型（目标模型）。
-
该方法允许目标模型在明显序列上一次输出多个token，提升了推理效率。
-
拒绝采样的公式被修改，以提高接受率，并结合标准采样方法使用。
-
投机采样可以与量化和多查询注意力等技术结合，增强模型性能。
-
选择草稿模型时，可以使用较小版本的目标语言模型，以获得较高的接受率。
延伸解读
投机采样的优势
投机采样通过结合小模型和大模型的优势，显著提高了推理效率。这种方法特别适用于需要快速生成文本的场景，如对话系统和内容创作，能够在保持输出质量的同时减少计算资源的消耗。
技术结合的潜力
投机采样可以与量化和多查询注意力等技术结合使用，进一步提升模型性能。这种灵活性使得开发者能够根据具体需求调整模型架构，优化推理速度和准确性，适应不同的应用场景。
选择草稿模型的策略
在选择草稿模型时，使用较小版本的目标语言模型可以提高接受率。这一策略不仅能加快推理过程，还能降低计算成本，为实际应用提供了更为高效的解决方案。
延伸问答
什么是投机采样？
投机采样是一种加速大语言模型推理的方法，使用小模型（草稿模型）和大模型（目标模型）实现高效输出。
投机采样如何提高推理效率？
投机采样允许目标模型在明显序列上一次输出多个token，从而提升推理效率。
投机采样中拒绝采样的公式是如何修改的？
拒绝采样的公式被修改为min(1,q(x~n+1|x1,…,xn)p(x~n+1|x1,…,xn))，以提高接受率。
投机采样可以与哪些技术结合使用？
投机采样可以与量化和多查询注意力等技术结合，增强模型性能。
选择草稿模型时有什么建议？
可以使用较小版本的目标语言模型作为草稿，以获得较高的接受率。
投机采样对模型结构有什么影响？
投机采样没有改变transformer的结构，因此可以与其他方法结合使用。
