speculative-sampling笔记
💡
原文中文，约2200字，阅读约需6分钟。
📝
内容提要
投机采样是一种加速大语言模型推理的方法，利用小模型（草稿模型）和大模型（目标模型）实现高效输出。该方法通过在明显序列上保持一致性，允许目标模型一次输出多个token，并修改了拒绝采样公式，结合标准采样方法，提高了接受率，且可与量化和多查询注意力等技术结合使用。
🎯
关键要点
- 投机采样是一种加速大语言模型推理的方法，使用小模型（草稿模型）和大模型（目标模型）。
- 该方法允许目标模型在明显序列上一次输出多个token，提升了推理效率。
- 拒绝采样的公式被修改，以提高接受率，并结合标准采样方法使用。
- 投机采样可以与量化和多查询注意力等技术结合，增强模型性能。
- 选择草稿模型时，可以使用较小版本的目标语言模型，以获得较高的接受率。
❓
延伸问答
什么是投机采样？
投机采样是一种加速大语言模型推理的方法，使用小模型（草稿模型）和大模型（目标模型）实现高效输出。
投机采样如何提高推理效率？
投机采样允许目标模型在明显序列上一次输出多个token，从而提升推理效率。
投机采样中拒绝采样的公式是如何修改的？
拒绝采样的公式被修改为min(1,q(x~n+1|x1,…,xn)p(x~n+1|x1,…,xn))，以提高接受率。
投机采样可以与哪些技术结合使用？
投机采样可以与量化和多查询注意力等技术结合，增强模型性能。
选择草稿模型时有什么建议？
可以使用较小版本的目标语言模型作为草稿，以获得较高的接受率。
投机采样对模型结构有什么影响？
投机采样没有改变transformer的结构，因此可以与其他方法结合使用。
➡️
