小红花·文摘
  • 首页
  • 广场
  • 排行榜🏆
  • 直播
  • FAQ
Dify.AI

本研究提出了一种新的xLSTM架构Distil-xLSTM,旨在解决自然语言处理领域中以Transformer模型为主导的问题。该架构通过从大型语言模型中提取知识进行训练,展现出计算和规模效率的优势,并能有效近似Transformer模型的注意力参数化。

Distil-xLSTM: Learning Attention Mechanisms through Recurrent Structures

BriefGPT - AI 论文速递
BriefGPT - AI 论文速递 · 2025-03-24T00:00:00Z
原作者带队再次改造xLSTM,7B模型速度最快超Mamba 50%,权重代码全开源

xLSTM 7B 是一种新型循环语言模型,采用 mLSTM 单元,优化了计算效率和内存占用。其改进的架构显著提升了推理速度和吞吐量,成为最快、最高效的 7B 模型。与传统 Transformer 相比,xLSTM 在长文本处理和生成效率上表现更佳,适合边缘设备应用。

原作者带队再次改造xLSTM,7B模型速度最快超Mamba 50%,权重代码全开源

机器之心
机器之心 · 2025-03-19T09:40:42Z

本研究提出平铺闪存线性注意力(TFLA)算法,旨在解决线性 RNN 在长序列建模中的计算效率和内存消耗问题。TFLA 通过序列并行化显著提升内核性能,实验结果表明其速度优于优化的闪存注意力,为高效长上下文序列建模设立了新标准。

Tiled Flash Linear Attention: More Efficient Linear RNN and xLSTM Kernels

BriefGPT - AI 论文速递
BriefGPT - AI 论文速递 · 2025-03-18T00:00:00Z

本研究提出了xLSTM 7B,一种基于xLSTM架构的7亿参数大语言模型,旨在提高推理速度。该模型通过优化设计,显著提升了推理效率,同时保持了良好的任务性能,具有广泛的应用潜力。

xLSTM 7B: A Recurrent Large Language Model for Fast and Efficient Inference

BriefGPT - AI 论文速递
BriefGPT - AI 论文速递 · 2025-03-17T00:00:00Z
xLSTM-SENet:重新定义单通道语音增强

xLSTM-SENet是一种新型的单通道语音增强系统,基于扩展长短期记忆架构,克服了传统模型的局限性。它通过改进存储控制和增加容量,提高了语音质量和清晰度,适合计算资源有限的设备。评估结果表明,其性能优于多种先进模型。

xLSTM-SENet:重新定义单通道语音增强

实时互动网
实时互动网 · 2025-01-16T03:26:17Z

本研究针对当前基于注意力的语音增强模型在处理输入序列长度时的可扩展性问题,提出了基于扩展长短期记忆(xLSTM)的单通道语音增强系统xLSTM-SENet。这一新方法通过对比分析显示,xLSTM及LSTM能够在多个模型规模上与当前最先进的Mamba和Conformer系统相匹配或超越。最优的xLSTM-SENet2模型在Voicebank+DEMAND数据集上的表现超过了现有的先进模型,展示...

xLSTM-SENet:用于单通道语音增强的xLSTM

BriefGPT - AI 论文速递
BriefGPT - AI 论文速递 · 2025-01-10T00:00:00Z

CDXFormer是一种新方法,利用扩展长短期记忆(XLSTM)提升遥感变化检测的准确性和效率。该方法通过特征增强层结合线性计算复杂性,解决了性能与效率之间的平衡问题。实验证明,CDXFormer在多个基准数据集上表现优异,具有重要的实际应用价值。

CDXFormer: Enhancing Remote Sensing Change Detection with Extended Long Short-Term Memory

BriefGPT - AI 论文速递
BriefGPT - AI 论文速递 · 2024-11-12T00:00:00Z

本研究提出了Bio-xLSTM,一种针对生物和化学序列的生成模型,旨在解决现有转化器在处理长基因组序列时的时间复杂度问题。Bio-xLSTM在小分子和蛋白质的上下文学习中表现优越,能够提供丰富的序列表示。

Bio-xLSTM: Generative Modeling, Representation, and In-Context Learning of Biological and Chemical Sequences

BriefGPT - AI 论文速递
BriefGPT - AI 论文速递 · 2024-11-06T00:00:00Z

本文介绍了门控Transformer-XL(GTrXL)在部分可观察强化学习中的应用,展示了其在多任务基准测试中的优越性能。通过Actor-Learner Distillation,模型在保持推理速度的同时提高了样本效率。此外,提出了Block-Recurrent Transformer和xLSTM模型,解决了传统模型的瓶颈问题,并在多个基准测试中表现出色。研究还关注开放源码社区的数据集稀缺问题,发布了xLAM系列模型以提升AI代理的性能。

大规模递归动作模型:xLSTM实现机器人任务的快速推理

BriefGPT - AI 论文速递
BriefGPT - AI 论文速递 · 2024-10-29T00:00:00Z

本文综述了面部表情识别(FER)领域的最新进展,包括深度神经网络、动态人脸表情数据库和半监督学习技术。研究提出了多种新方法和模型,解决了数据标记、类别不平衡及复杂环境下的识别挑战,并在多个标准数据集上展示了优越性能,推动了FER技术的发展。

xLSTM-FER:基于扩展长短时记忆网络提升学生表情识别

BriefGPT - AI 论文速递
BriefGPT - AI 论文速递 · 2024-10-07T00:00:00Z

本研究针对自闭症谱系障碍(ASD)早期检测中的客观性不足问题,提出了一种新的亲子互动积木游戏协议(PCB),旨在识别自闭症与正常发展幼儿之间的行为模式。同时,我们构建了一个大规模的视频数据集,包含40名自闭症幼儿和89名正常发展的幼儿,通过采用一种混合深度学习框架,实现了高达89.6%的早期检测准确率,能够极大地改善自闭症的早期诊断,提高临床决策的及时性与准确性。

通过亲子互动积木游戏协议与注意力增强的GCN-xLSTM混合深度学习框架提升自闭症谱系障碍早期检测

BriefGPT - AI 论文速递
BriefGPT - AI 论文速递 · 2024-08-29T00:00:00Z

本文研究了一种新型医学图像分割模型Vision Mamba UNet (VM-UNet),该模型结合了状态空间模型和视觉上下文信息,展现出优异的分割性能。通过引入Visual State Space块和不对称编码器-解码器结构,VM-UNet在多个公共数据集上表现出色,为高效分割系统的开发奠定了基础。

xLSTM-UNet 可作为一个有效的 2D 和 3D 医学图像分割骨干,其 Vision-LSTM (ViL) 相较于其 Mamba 对应物更佳

BriefGPT - AI 论文速递
BriefGPT - AI 论文速递 · 2024-07-01T00:00:00Z

本文探讨了多种基于LSTM的模型在计算机视觉中的应用,包括视频帧预测、图像字幕生成和视觉语音识别。研究表明,这些模型在多个基准数据集上表现优异,展示了LSTM在时空信息处理和自然语言生成中的潜力。

Seg-LSTM: 遥感图像语义分割的 xLSTM 性能

BriefGPT - AI 论文速递
BriefGPT - AI 论文速递 · 2024-06-20T00:00:00Z

本研究提出了一种新型卷积神经网络架构Sequencer,结合LSTM以建模长距离依赖,表现优异。同时介绍了xLSTM和LiteLSTM模型,优化了LSTM的计算组件,提高了大数据学习效率,适用于物联网和医学数据。研究还分析了LSTM的关键组件,并提供了有效的超参数调整指导。

Vision-LSTM: xLSTM 作为通用视觉主干网络

BriefGPT - AI 论文速递
BriefGPT - AI 论文速递 · 2024-06-06T00:00:00Z
LWiAI播客第166期 - 新的AI音乐生成器、微软的GPT-4努力、AlphaFold3、xLSTM、OpenAI模型规格

本期播客讨论了最新的人工智能新闻,包括ElevenLabs推出的音乐生成AI模型、微软的新AI模型可能挑战GPT-4和Google Gemini,以及阿里巴巴发布的新语言模型。同时提到Google DeepMind在蛋白质结构建模方面的突破和美国立法者提出的限制AI模型出口的法案。

LWiAI播客第166期 - 新的AI音乐生成器、微软的GPT-4努力、AlphaFold3、xLSTM、OpenAI模型规格

Last Week in AI
Last Week in AI · 2024-05-12T21:15:37Z
  • <<
  • <
  • 1 (current)
  • >
  • >>
👤 个人中心
在公众号发送验证码完成验证
登录验证
在本设备完成一次验证即可继续使用

完成下面两步后,将自动完成登录并继续当前操作。

1 关注公众号
小红花技术领袖公众号二维码
小红花技术领袖
如果当前 App 无法识别二维码,请在微信搜索并关注该公众号
2 发送验证码
在公众号对话中发送下面 4 位验证码
小红花技术领袖俱乐部
小红花·文摘:汇聚分发优质内容
小红花技术领袖俱乐部
Copyright © 2021-
粤ICP备2022094092号-1
公众号 小红花技术领袖俱乐部公众号二维码
视频号 小红花技术领袖俱乐部视频号二维码