微软开源的三进制LLM BitNet b1.58 2B4T，参数达到2B，内存仅需0.4GB，能在单CPU上高效运行。该模型采用三元值{-1, 0, 1}存储权重，计算效率高，解码延迟仅29ms，能耗低至0.028J，性能优于同类模型。

本文探讨了基于vllm实现的PD分离方案，重点分析了GDR（GPU-Direct RDMA）的细节及其对解码延迟的影响。实验结果表明，GDR对解码延迟几乎没有影响，且该方案对vllm的引入性低，几乎不需改动现有设施。

本研究提出了CORAL框架，解决了推测解码技术在训练与推理间的不一致性问题。通过跨步骤表示对齐，提升了多步训练的一致性，显著提高了推测草拟性能，并引入参数选择机制以减少解码延迟，实验证明其在效率和准确性上优于现有技术。

本文提出了一种新算法——分阶段投机性解码，旨在加速小批量大型语言模型（LLM）的推断。该方法通过重组投机性批量为树结构并增加第二阶段解码，成功将解码延迟降低了3.16倍，同时保持输出质量。此外，研究还探讨了推测解码的训练方法，显著提高了模型的效率和性能。

本文提出了一种新算法——分阶段投机性解码，旨在加速小批量大型语言模型（LLM）的推理。该方法通过重组投机性批量和引入第二阶段解码，在保持输出质量的同时，将解码延迟降低了3.16倍。研究还探讨了推测解码的定义、技术及未来方向，强调提高推理速度和GPU利用率的重要性。

本文提出了一种新算法——分阶段投机性解码，旨在加速小批量设备上的大型语言模型推断。通过重组投机性批量为树结构和引入第二阶段解码，显著降低了解码延迟，同时保持输出质量。研究分析了不同规模LLM在GPU上的推理性能及能源成本，为提升LLM的效率和应用提供了重要参考。

本文提出了一种新算法——分阶段投机性解码，旨在加速小批量设备上的大型语言模型推断。该方法通过重组投机性批量为树结构并引入第二阶段解码，在保持输出质量的同时，将解码延迟降低了3.16倍。此外，研究探讨了推测执行在大型语言模型中的应用及未来发展方向。

该文章介绍了一种新的算法，利用大型语言模型（LLM）进行分阶段投机性解码，以加速小批量、设备上的LLM推断。通过改进前期工作，解决了小批量推断的低算术密度问题。该算法通过重新组织投机性批量为一棵树，并添加第二阶段的投机性解码，将单批解码延迟降低了3.16倍。