近期长上下文语言模型(LCLMs)的进展有望简化检索增强生成(RAG)流程。LCLMs能够直接处理知识库进行检索和推理。本文提出了ICR2基准,以更真实地评估LCLMs的性能,并提出了提升LCLM性能的方法,包括检索后生成微调和联合训练检索头与生成头。通过对四个LCLMs的广泛基准测试,我们的方法在多个任务上显著优于现有模型。
本研究提出了MoonCast,旨在解决现有文本到语音合成系统在生成长时间、多发言者和自发对话中的局限性。MoonCast结合了长上下文语言模型和自发性脚本生成模块,能够合成自然的播客风格演讲,实验结果表明其在自发性和连贯性方面显著优于传统方法。
本研究提出了 IC R^2 基准,以更准确评估长上下文语言模型(LCLM)的性能。通过引入复杂上下文和优化方法,实验表明 Mistral-7B 模型显著提升了性能,展示了其实际应用潜力。
本研究探讨了上下文学习(ICL)在多示例模式下的样本选择敏感性,特别关注长上下文语言模型(LCLMs)。实验结果显示,简单随机选择样本未显著提升性能,而数据增强方法有效提高了ICL性能,提升幅度达到5%。
微软的研究提出了一种名为MInference的稀疏计算方法,可以加速长上下文语言模型(LLM)的预填充阶段,无需修改预训练设置或额外微调,同时保持准确性。MInference通过动态稀疏注意力计算和优化的GPU内核,在单个A100上实现了10倍的推理速度提升。实验结果表明MInference在各种任务和模型下都表现良好。
完成下面两步后,将自动完成登录并继续当前操作。