小红花·文摘
  • 首页
  • 广场
  • 排行榜🏆
  • 直播
  • FAQ
Dify.AI
独占自注意力

本文介绍了一种名为独占自注意力(XSA)的方法,旨在提升Transformer的序列建模性能。XSA通过限制注意力仅捕捉与令牌自身值向量正交的信息,从而改善上下文建模。在标准语言建模任务中,XSA在不同模型规模上均优于自注意力(SA),且随着序列长度增加,性能提升更为显著。

独占自注意力

Apple Machine Learning Research
Apple Machine Learning Research · 2026-03-25T00:00:00Z

本研究提出JELLY框架,解决对话语音合成中的上下文和情感识别问题。通过微调大型语言模型,JELLY能够自然生成符合对话情感的语音,实验结果表明其在情感上下文建模方面表现优异。

JELLY: A Conversational Speech Synthesis Framework Integrating Emotion Recognition and Contextual Reasoning with Large Language Models

BriefGPT - AI 论文速递
BriefGPT - AI 论文速递 · 2025-01-09T00:00:00Z
这篇论文非常火!差分Transformer竟能消除注意力噪声,犹如降噪耳机

差分 Transformer 是由微软研究院和清华大学提出的新架构,解决了传统 Transformer 的注意力噪声问题。通过差分注意力机制,模型更好地关注关键信息,提升上下文建模能力。实验显示,其在语言建模、信息检索等任务中表现优于传统模型,并具备更好的扩展性和稳健性,同时支持低位宽量化,实现高效计算。

这篇论文非常火!差分Transformer竟能消除注意力噪声,犹如降噪耳机

机器之心
机器之心 · 2024-10-09T06:23:37Z

Token Trails是一种新颖的方法,通过利用令牌类型嵌入来区分用户话语和机器人回答,提高对话理解和回复生成的性能。它展示了上下文建模在对话人工智能中的重要性,并凸显了Token Trails在推动该领域发展方面的潜力,为更复杂和上下文感知的聊天机器人互动铺平了道路。

Token Trails: 导航对话 AI 中的上下文深度

BriefGPT - AI 论文速递
BriefGPT - AI 论文速递 · 2024-04-03T00:00:00Z

现代计算机视觉处理大图像的方式有降采样和裁剪,但会导致信息和上下文损失。研究人员提出了xT框架,可以在GPU上对大图像进行全局上下文与局部细节的建模。通过引入嵌套分词方案,可以提高准确度和F1分数,适用于大图像中的上下文相关分割。

xT:用于大图像中更大上下文的嵌套标记化

BriefGPT - AI 论文速递
BriefGPT - AI 论文速递 · 2024-03-04T00:00:00Z

本文提出了一种弱监督视频异常检测框架,实现了高效上下文建模和增强语义可区分性,实验结果表明在三个具有挑战性的数据集上实现了竞争性的性能,某些异常子类的检测准确率也得到了极大的提高。

基于片段异常关注的弱监督视频异常检测

BriefGPT - AI 论文速递
BriefGPT - AI 论文速递 · 2023-09-28T00:00:00Z

该文介绍了一种新的密集视频字幕框架,通过建模视频中事件的时间依赖性和利用先前事件的视觉和语言上下文来实现连贯的叙述。该框架由事件序列生成网络和序列视频字幕网络组成,利用强化学习进行训练,并在事件和剧集两个级别上进行两级奖励以实现更好的上下文建模。在 ActivityNet Captions 数据集上,该方法表现出色。

准确快速压缩视频字幕生成

BriefGPT - AI 论文速递
BriefGPT - AI 论文速递 · 2023-09-22T00:00:00Z
  • <<
  • <
  • 1 (current)
  • >
  • >>
👤 个人中心
在公众号发送验证码完成验证
登录验证
在本设备完成一次验证即可继续使用

完成下面两步后,将自动完成登录并继续当前操作。

1 关注公众号
小红花技术领袖公众号二维码
小红花技术领袖
如果当前 App 无法识别二维码,请在微信搜索并关注该公众号
2 发送验证码
在公众号对话中发送下面 4 位验证码
小红花技术领袖俱乐部
小红花·文摘:汇聚分发优质内容
小红花技术领袖俱乐部
Copyright © 2021-
粤ICP备2022094092号-1
公众号 小红花技术领袖俱乐部公众号二维码
视频号 小红花技术领袖俱乐部视频号二维码