本研究提出了一种代理混合解码策略,以提高大规模语言模型在多样化任务中的适应性。该方法通过动态选择最合适的模型,显著提升了性能,平均奖励提高1.56倍,胜平负比率提升71.89%。
本研究分析了大型语言模型中文本生成解码策略对GPU能耗的影响,强调解码技术选择和超参数调整对文本质量及资源利用的重要性,为高效文本生成应用提供了见解。
本研究提出了RetroLLM框架,旨在解决大型语言模型生成中的幻觉问题。通过引入层次FM-Index约束和前瞻性解码策略,RetroLLM提升了生成证据的准确性和相关性,超越了现有方法。
EMTeC是一个自然主义的语料库,包含了六种不同文本类型的文本,由三个大型语言模型在不同解码策略下生成。该语料库用于研究机器生成文本的阅读行为和解码策略对人类阅读时间的影响,以及Surprisal和Entropy对阅读时间的预测能力。
该研究分析了语言生成任务和解码策略之间的相互作用,发现不同任务和策略会影响生成文本的属性。研究发现,语言生成中的多样性与质量之间的平衡是任务特定的,光束搜索在机器翻译中表现出色,但在故事生成中会导致不连贯和重复的文本。
本文研究发现高不确定性模型会导致错误内容增加,提出一种解码策略来减少幻觉,通过在XSum数据集上的实验证明,该方法降低了幻觉的概率。
本文提出了一种基于BERT的非自回归文本生成模型,通过引入新的解码策略和机制解决了NAG模型中的问题,并在三个任务上进行了评估,证明了该模型在速度和性能上的优势。
该研究提出了一种高效稳定的人造文本检测方法,能够辨别多种模型和解码策略生成的人造文本,并具有抗检测的能力。同时,该研究还揭示了使用大规模语言模型技术时存在的社会和伦理问题,并提出了相应的解决方案。
本文介绍了一种基于BERT的非自回归文本生成模型,通过引入新的解码策略和机制解决了NAG模型中的问题,并在三个任务上进行了评估,证明该模型在速度和性能上优于现有的非自回归基线模型,也在强自回归模型上取得了有竞争力的性能。
本文提出了一种解码策略,通过优化源和目标单词的点间互信息来减少模型不确定性高时的幻觉出现。在 XSum 数据集上进行实验证明,该方法降低了幻觉的概率,同时保持了黄色和 BertS 得分。
通过分析代码标记的丢失分布,发现代码标记可分为难以预测的具有挑战性的标记和容易推测的自信标记。提出了一种简单而有效的方法:自适应温度采样(AdapT sampling),通过在解码不同的标记时动态调整温度系数。在不同规模的LLMs上应用AdapT采样,并在两个常用数据集上进行评估,结果表明AdapT采样优于最先进的解码策略。
本文介绍了文本生成任务中的不同解码策略,包括贪心搜索、集束搜索、Top-K采样、核采样和温度采样。这些策略都有不同的优缺点,需要根据具体场景选择合适的策略。
完成下面两步后,将自动完成登录并继续当前操作。