小红花·文摘
  • 首页
  • AI Tokens🪙
  • 排行榜🏆
  • 直播
  • FAQ
Dify.AI

本研究提出了GLADMamba框架,解决了无监督图级异常检测中的长距离依赖和光谱信息忽视问题。通过选择性状态空间模型,GLADMamba在12个真实数据集上显著提升了检测性能。

GLADMamba: Unsupervised Graph-Level Anomaly Detection Based on Selective State Space Model

BriefGPT - AI 论文速递 BriefGPT - AI 论文速递 · 2025-03-23T00:00:00Z

本研究提出了一种名为S6MOD的插件模块,旨在解决在线持续学习中的模型适应性不足问题。通过引入选择性状态空间模型的离散化混合方法和类别条件路由算法,S6MOD显著提升了模型的灵活性和性能。

Enhancing Online Continual Learning with Plug-and-Play State Space Model and Class-Conditional Mixture of Discretization

BriefGPT - AI 论文速递 BriefGPT - AI 论文速递 · 2024-12-24T00:00:00Z

本文介绍了一种新型的H3 SSM层和FlashConv技术,旨在提高语言模型的训练效率和性能。研究表明,选择性状态空间模型(SSMs)在多项任务上超越了传统Transformer,尤其在长序列推理中表现优异。此外,提出的量化方法有效降低了模型部署成本,同时保持了准确性,为大语言模型的高效应用提供了新思路。

Quamba:选择性状态空间模型的后训练量化方法

BriefGPT - AI 论文速递 BriefGPT - AI 论文速递 · 2024-10-17T00:00:00Z

基于Transformer架构的Mamba模型通过选择性状态空间模型(SSMs)提升了内容导向推理的速度,推断速度比传统Transformer快5倍,适用于长序列数据。Mamba在语言、音频和基因组等领域表现优异,超越同规模的Transformer。研究还探讨了SSMs在多模态学习中的潜力,并提出了新架构Mamba-2,进一步提升了性能。

状态空间模型在机器翻译中的有效性如何?

BriefGPT - AI 论文速递 BriefGPT - AI 论文速递 · 2024-07-07T00:00:00Z

基于Transformer架构的Mamba模型通过改进选择性状态空间模型(SSMs),在推理速度和序列长度上表现优越,尤其在长序列处理上显著优于传统Transformer。Mamba在语言、音频和基因组等领域实现了先进性能,并与混合专家模型结合后进一步提升了性能,适用于多种复杂任务。

OTCE:混合 SSM 和注意力机制,通过跨领域专家混合构建观察者 - 思考者 - 构思者 - 表达耠

BriefGPT - AI 论文速递 BriefGPT - AI 论文速递 · 2024-06-24T00:00:00Z

基于Transformer架构的模型在深度学习中应用广泛,但存在内容导向推理的弱点。研究提出了一种改进的选择性状态空间模型(Mamba),在推断速度和序列长度处理上表现优越,适用于语言、音频和基因组等多个领域。该模型在长序列建模中实现了最先进的性能,展示了状态空间模型的潜力和未来发展方向。

状态汤:上下文技能学习、检索和混合

BriefGPT - AI 论文速递 BriefGPT - AI 论文速递 · 2024-06-12T00:00:00Z

选择性状态空间模型(SSMs)如Mamba克服了Transformer的一些缺点,例如计算复杂度和内存需求。最近的研究显示,SSMs可以达到或超越Transformer的语言建模能力。8B参数的Mamba、Mamba-2和Transformer模型进行了比较,结果显示纯SSMs在许多任务上达到或超越了Transformer,但在需要强大的复制或上下文学习能力的任务上落后。相反,8B的Mamba-2-Hybrid在所有任务上超过了8B Transformer,并且在生成推理标记时速度最多快8倍。混合模型在额外的长期上下文任务中继续紧密匹配或超越了Transformer。

基于蟒蛇的语言模型的实证研究

BriefGPT - AI 论文速递 BriefGPT - AI 论文速递 · 2024-06-12T00:00:00Z
  • <<
  • <
  • 1 (current)
  • >
  • >>
👤 个人中心
在公众号发送验证码完成验证
登录验证
在本设备完成一次验证即可继续使用

完成下面两步后,将自动完成登录并继续当前操作。

1 关注公众号
小红花技术领袖公众号二维码
小红花技术领袖
如果当前 App 无法识别二维码,请在微信搜索并关注该公众号
2 发送验证码
在公众号对话中发送下面 4 位验证码
小红花技术领袖俱乐部
小红花·文摘:汇聚分发优质内容
小红花技术领袖俱乐部
Copyright © 2021-
粤ICP备2022094092号-1
公众号 小红花技术领袖俱乐部公众号二维码
视频号 小红花技术领袖俱乐部视频号二维码