本研究提出了双重注意力变换器(DAT)和残差双重非局部注意力网络(RDNLA)两种新模型,以提高复杂环境下的信号检测和解码效率。实验结果显示,这些模型在不同信噪比条件下显著优于传统方法,具有在下一代通信系统中的应用潜力。
本研究提出了一种新框架,用于评估生成语言模型在任务级输出选择中的解码效率。研究发现,解码无关的候选选择方法在多样化任务中表现优异,为未来模型设计提供了重要见解,尤其是在大规模候选池的应用潜力方面。
该研究提出了一种新颖的“信念状态变换器”,通过预测前缀的下一个标记和后缀的前一个标记,克服了传统向前变换器的局限性。研究表明,该方法在故事写作任务中优于传统方法,提高了解码效率和文本表示质量。
本文介绍了一种新型神经表示方法NeRV,旨在提高视频编码和解码效率。研究提出了多种基于隐式神经表示(INR)的视频编解码技术,如TINC和NN-VVC,展现出优于传统方法的性能。通过特征调制和混合神经表示,进一步提升了视频压缩效果,解决了复杂性和延迟问题,为实际应用奠定基础。
本文介绍了多种加速大型语言模型(LLM)推理的方法,如LLMA、Vistaar和METHODNS,显著提升了多语言和低资源语音识别的性能。研究还提出了分阶段投机性解码和混合方法,以优化解码效率、降低延迟并保持输出质量。此外,通过助理模型的训练,进一步减少了推理时间,增强了多语言环境中的应用效果。
本文介绍了一种通过知识蒸馏和投机解码技术(DistillSpec)加速大型语言模型推理的方法。该方法在多项基准测试中实现了10-45%的加速,并有效降低了解码延迟。结合轻量级草稿模型和新采样机制,显著提高了解码效率,实验结果显示在多种模型架构中优于现有方法。
Clover是一种新推理解码算法,通过将顺序知识融入并行解码,提高了预测准确率和效率。实验证明,Clover在Baichuan-Small和Baichuan-Large上分别提高了最多91%和146%。该算法结合了经典与新型推测解码技术,显著提升了大型语言模型的解码效率,降低了推理时间。
本文提出了一种基于句子级检索的最近邻机器翻译框架,旨在提高kNN-MT模型的解码和存储效率,同时保持翻译性能。研究表明,该框架在速度和存储要求上优于传统模型,并能适应不同领域,提升翻译准确性。
本文提出了一种新的自适应推测解码策略,旨在提高大型语言模型(LLMs)的推理速度和GPU利用率。通过批处理和多候选验证算法,显著提升了候选标记的接受率,达到或超过传统解码性能。该方法在多个模型和数据集上表现出色,能够在不改变模型架构的情况下实现加速,提升解码效率。
完成下面两步后,将自动完成登录并继续当前操作。