微软开源的三进制LLM BitNet b1.58 2B4T，参数达到2B，内存仅需0.4GB，能在单CPU上高效运行。该模型采用三元值{-1, 0, 1}存储权重，计算效率高，解码延迟仅29ms，能耗低至0.028J，性能优于同类模型。

本文探讨了基于vllm实现的PD分离方案，重点分析了GDR（GPU-Direct RDMA）的细节及其对解码延迟的影响。实验结果表明，GDR对解码延迟几乎没有影响，且该方案对vllm的引入性低，几乎不需改动现有设施。

本研究提出了CORAL框架，解决了推测解码技术在训练与推理中的不一致问题，提升了多步训练的一致性，显著提高了推测性能，减少了解码延迟，其效率和准确性优于现有技术。

该文章介绍了一种新的算法，利用大型语言模型（LLM）进行分阶段投机性解码，以加速小批量、设备上的LLM推断。通过改进前期工作，解决了小批量推断的低算术密度问题。该算法通过重新组织投机性批量为一棵树，并添加第二阶段的投机性解码，将单批解码延迟降低了3.16倍。

该文章介绍了一种新的算法，利用大型语言模型（LLM）进行分阶段投机性解码，以加速小批量、设备上的LLM推断。通过改进投机性解码的前期工作，解决了小批量推断的低算术密度问题。该算法通过重新组织投机性批量为一棵树，并添加第二阶段的投机性解码，将单批解码延迟降低了3.16倍。

该文章介绍了一种新的算法，利用大型语言模型（LLM）进行分阶段投机性解码，以加速小批量、设备上的LLM推断。通过改进前期工作，解决了小批量推断的低算术密度问题。该算法通过重新组织投机性批量为一棵树，并添加第二阶段的投机性解码，将单批解码延迟降低了3.16倍。