推测解码利用小型草稿模型生成候选token，再由大模型并行验证，借助GPU空闲算力实现2-3倍加速且不损失输出质量。其效果取决于接受率，结构化任务中接受率高，创意写作中较低，高并发时收益下降。草稿来源包括小模型、预测头、量化版本或文本搜索，需根据部署场景选择。

本文介绍了“原则性粗粒度接受”（PCG）方法，旨在加速自回归语音生成。PCG通过在声学相似性组（ASGs）层面验证提议，提高了语音生成的接受率和吞吐量，同时保持了语音的可懂性和说话者相似性，克服了传统精确匹配的限制，提升了生成效率。

JetBrains IDEs的AI代码补全通过引入轻量级本地过滤模型，显著提高了建议的接受率（提升约50%）和减少了取消率（降低约40%）。该模型基于匿名日志分析用户行为和上下文，优化了代码建议的质量，并已在2024.1版本中正式推出，支持多种编程语言，未来将继续扩展。