本研究提出了一种代理混合解码策略,以提高大规模语言模型在多样化任务中的适应性。该方法通过动态选择最合适的模型,显著提升了性能,平均奖励提高1.56倍,胜平负比率提升71.89%。
本研究探讨了大型语言模型(LLM)中文本生成解码策略对GPU能耗的影响,强调了解码技术和超参数选择对文本质量和资源利用的影响,以及优化资源效率与文本质量之间的平衡。
本文探讨了神经文本生成中的“幻觉”现象,并提出了多种减少虚假信息生成的方法,包括扩展beam搜索算法和实时检验策略。研究表明,模型的不确定性与虚假内容相关,所提解码策略能有效降低幻觉概率。此外,开发了无约束幻觉生成评估基准,以评估语言模型的表现。
DISCO是一种动态调整推断长度的方法,能够提高推理速度和质量。研究提出了自适应推测解码策略和Speculative Streaming方法,显著提升了大型语言模型的解码效率。SpecDec++通过自适应候选长度实现了更快的推理,实验结果显示加速效果显著。
本文探讨了视觉对话任务中的解码策略,分析了不同策略的优缺点。研究表明,核采样在质量优先时表现最佳,并提出了“选择性抽样”算法以提高多样性和连贯性。此外,动态词汇序列模型(DVS2S)显著提升了聊天机器人回答的质量和解码效率。
本文探讨了大型语言模型的幻觉现象,提出了一种基于标记的方法来识别幻觉类型,并改进了对话摘要的可解释性和忠实度。研究表明,模型的不确定性高会导致更多幻觉,并提出了优化解码策略以减少幻觉。通过微调Longformer模型和数据过滤技术,提升了摘要质量和事实一致性。此外,介绍了无参考的幻觉检测方法和未来研究方向。
该研究提出了一种高效稳定的人造文本检测方法,能够辨别多种模型和解码策略生成的人造文本,并具有抗检测的能力。同时,该研究还揭示了使用大规模语言模型技术时存在的社会和伦理问题,并提出了相应的解决方案。
本文介绍了一种基于BERT的非自回归文本生成模型,通过引入新的解码策略和机制解决了NAG模型中的问题,并在三个任务上进行了评估,证明该模型在速度和性能上优于现有的非自回归基线模型,也在强自回归模型上取得了有竞争力的性能。
本文提出了一种解码策略,通过优化源和目标单词的点间互信息来减少模型不确定性高时的幻觉出现。在 XSum 数据集上进行实验证明,该方法降低了幻觉的概率,同时保持了黄色和 BertS 得分。
通过分析代码标记的丢失分布,发现代码标记可分为难以预测的具有挑战性的标记和容易推测的自信标记。提出了一种简单而有效的方法:自适应温度采样(AdapT sampling),通过在解码不同的标记时动态调整温度系数。在不同规模的LLMs上应用AdapT采样,并在两个常用数据集上进行评估,结果表明AdapT采样优于最先进的解码策略。
本文介绍了文本生成任务中的不同解码策略,包括贪心搜索、集束搜索、Top-K采样、核采样和温度采样。这些策略都有不同的优缺点,需要根据具体场景选择合适的策略。
完成下面两步后,将自动完成登录并继续当前操作。