本文介绍了一种名为独占自注意力(XSA)的方法,旨在提升Transformer的序列建模性能。XSA通过限制注意力仅捕捉与令牌自身值向量正交的信息,从而改善上下文建模。在标准语言建模任务中,XSA在不同模型规模上均优于自注意力(SA),且随着序列长度增加,性能提升更为显著。
本研究提出JELLY框架,解决对话语音合成中的上下文和情感识别问题。通过微调大型语言模型,JELLY能够自然生成符合对话情感的语音,实验结果表明其在情感上下文建模方面表现优异。
差分 Transformer 是由微软研究院和清华大学提出的新架构,解决了传统 Transformer 的注意力噪声问题。通过差分注意力机制,模型更好地关注关键信息,提升上下文建模能力。实验显示,其在语言建模、信息检索等任务中表现优于传统模型,并具备更好的扩展性和稳健性,同时支持低位宽量化,实现高效计算。
Token Trails是一种新颖的方法,通过利用令牌类型嵌入来区分用户话语和机器人回答,提高对话理解和回复生成的性能。它展示了上下文建模在对话人工智能中的重要性,并凸显了Token Trails在推动该领域发展方面的潜力,为更复杂和上下文感知的聊天机器人互动铺平了道路。
现代计算机视觉处理大图像的方式有降采样和裁剪,但会导致信息和上下文损失。研究人员提出了xT框架,可以在GPU上对大图像进行全局上下文与局部细节的建模。通过引入嵌套分词方案,可以提高准确度和F1分数,适用于大图像中的上下文相关分割。
本文提出了一种弱监督视频异常检测框架,实现了高效上下文建模和增强语义可区分性,实验结果表明在三个具有挑战性的数据集上实现了竞争性的性能,某些异常子类的检测准确率也得到了极大的提高。
该文介绍了一种新的密集视频字幕框架,通过建模视频中事件的时间依赖性和利用先前事件的视觉和语言上下文来实现连贯的叙述。该框架由事件序列生成网络和序列视频字幕网络组成,利用强化学习进行训练,并在事件和剧集两个级别上进行两级奖励以实现更好的上下文建模。在 ActivityNet Captions 数据集上,该方法表现出色。
完成下面两步后,将自动完成登录并继续当前操作。