De-DSI 是一种新框架，结合大型语言模型与分布式信息检索，提升查询与文档匹配效率。通过微分搜索索引和数据集分割，增强可扩展性。Speculative Streaming 提高解码速度，DISCO 动态优化推断长度。新推理方案通过自我推测解码加速 LLM，无需额外模型，保持输出质量。整体方法在效率和速度上显著提升。

该文介绍了一种新颖的自我推测解码推理方案，用于加速大型语言模型，无需辅助模型。该方法通过草稿和验证两个阶段的过程来实现，不需要额外的神经网络训练和内存占用，加速比最高可达1.73倍。

该研究提出了一种新颖的推理方案，用于加速大型语言模型，无需辅助模型。该方法通过两个阶段的过程来实现，是一种即插即用和经济高效的推理加速解决方案。加速比最高可达1.73倍。