小红花·文摘
  • 首页
  • 广场
  • 排行榜🏆
  • 直播
  • FAQ
Dify.AI

本文探讨了循环神经网络(RNN)在处理变长序列中的应用及其局限性。RNN通过权重共享和记忆机制处理序列数据,但存在长程依赖、梯度消失和训练并行性等问题。LSTM和GRU作为RNN的变体,通过门控机制改善了这些问题。尽管RNN在早期自然语言处理和机器翻译中发挥了重要作用,但随着Transformer的出现,其应用逐渐减少。

【Transformer 与注意力机制】09 RNN 与序列建模:Transformer 之前的世界

土法炼钢兴趣小组的博客
土法炼钢兴趣小组的博客 · 2026-04-15T00:00:00Z

本研究提出了一种新型循环结构“基于物理的能量转移神经网络”(PETNN),有效解决了传统循环神经网络在长期依赖学习中的不足。PETNN在序列任务中超越了基于Transformer的方法,展现出较低的复杂性,显示出开发高效循环神经网络的潜力。

Physics-Based Energy Transfer Neural Network for Sequence Learning

BriefGPT - AI 论文速递
BriefGPT - AI 论文速递 · 2025-05-06T00:00:00Z
Karpathy后悔了:2015年就看到了语言模型的潜力,却搞了多年强化学习

Andrej Karpathy 感叹未能早期引领大模型时代,认为强化学习的研究误导了他。他早在2015年就看好循环神经网络(RNN)的潜力,并探索其在文本生成中的应用。尽管强化学习曾取得成功,但最终被大语言模型(LLM)取代。

Karpathy后悔了:2015年就看到了语言模型的潜力,却搞了多年强化学习

机器之心
机器之心 · 2024-11-18T05:30:08Z

本文提出了一种基于循环神经网络的会话推荐方法,结合排序损失函数,实验结果表明其在多个数据集上优于传统方法。同时,研究探讨了生成模型、图神经网络及线性模型在会话推荐中的应用,发现简单的基于最近邻的方法在许多情况下表现更佳。文章强调了会话推荐算法的改进和性能提升的重要性。

GRAINRec:图与注意力集成的实时会话推荐模型

BriefGPT - AI 论文速递
BriefGPT - AI 论文速递 · 2024-11-14T00:00:00Z

本文探讨了循环神经网络(RNN)在PAC学习中的概念类别及其训练和泛化能力。研究表明,改进的神经网络模型能够有效学习显著概念类,并提出了适用于非独立同分布数据的新泛化误差界限。实验结果验证了这些理论,为RNN的性能提供了统计保证。

递归神经网络的泛化与风险界限

BriefGPT - AI 论文速递
BriefGPT - AI 论文速递 · 2024-11-05T00:00:00Z

本文探讨了深度学习在普适计算中的人类活动识别技术,介绍了循环神经网络的训练方法及模型适用性。研究利用多模态数据和自我监督学习技术提升活动识别模型性能,并提出新方法解决数据稀缺问题,分析了编码器和解码器架构的扩展性,为模型设计提供新方向。

可穿戴基础模型的扩展

BriefGPT - AI 论文速递
BriefGPT - AI 论文速递 · 2024-10-17T00:00:00Z

印度理工学院马德拉斯分校的深度学习课程由Mitesh M. Khapra教授讲授,涵盖卷积神经网络和循环神经网络等核心概念,强调使用TensorFlow和PyTorch进行实践。GetVM Playground提供在线环境,方便实验和调试。适合学生、研究人员和专业人士。

跟随印度理工学院马德拉斯分校探索深度学习的奇妙世界!🤖

DEV Community
DEV Community · 2024-10-16T05:34:33Z

本文介绍了一种基于深度学习的视频伪造检测方法,利用自编码器和循环神经网络分析视频素材,识别伪造点。研究提出了多个数据集和模型,旨在提高身份证件和签名验证的性能,解决伪造文件图像的检测问题。

用于文档验证的递归少样本模型

BriefGPT - AI 论文速递
BriefGPT - AI 论文速递 · 2024-10-03T00:00:00Z

本研究探讨了基于循环神经网络的记忆模型,提出了多种创新方法以增强记忆存储和检索能力。通过引入可塑性规则和新算法,模型有效学习复杂序列,揭示了神经网络在时间序列信息处理中的潜力,为理解大脑记忆机制提供了新视角。

预测吸引子模型

BriefGPT - AI 论文速递
BriefGPT - AI 论文速递 · 2024-10-03T00:00:00Z

本研究探讨了循环神经网络传输器(RNN-T)和不同架构的端到端语音识别模型。通过字元素和未配对数据训练,显著降低了单词错误率。新型流式多说话人识别框架和CIF-Transducer模型在多个数据集上表现出色,提升了计算效率和准确性。

无对齐训练的基于转导器的多说话人自动语音识别

BriefGPT - AI 论文速递
BriefGPT - AI 论文速递 · 2024-09-30T00:00:00Z

本文介绍了多种基于学习的方法来提高立体匹配的准确性和效率,包括随机森林分类器、深层立体网络、循环神经网络和Transformer结构等。这些方法在多个数据集上表现优异,尤其在动态场景重构和时间一致性方面,展示了深度学习在立体匹配中的潜力和应用前景。

通过双向对齐匹配立体视频

BriefGPT - AI 论文速递
BriefGPT - AI 论文速递 · 2024-09-30T00:00:00Z

本文探讨了循环神经网络(RNN)在推荐系统中的应用,提出了记忆增强型DNN和AutoCTR等改进模型,以提高点击预测的准确性。同时,研究了上下文感知用户行为建模和多行为超图增强Transformer框架,并验证了这些方法在不同数据集上的有效性。

推荐系统中的神经点击模型

BriefGPT - AI 论文速递
BriefGPT - AI 论文速递 · 2024-09-30T00:00:00Z

本研究提出了一种基于双模态循环神经网络的音视频系统,用于在嘈杂环境中进行语音活动检测,实验结果显示其检测效果优于传统深度神经网络,F1评分达到92.7%。此外,研究还探讨了机器学习在儿童虐待检测和声音事件识别等领域的应用,展示了新数据集和模型的有效性。

家中的声音:用于声音事件检测的无语音住宅音频数据集

BriefGPT - AI 论文速递
BriefGPT - AI 论文速递 · 2024-09-17T00:00:00Z

本文比较了基于循环神经网络(RNN)和Transformer的语言模型在人类语言处理中的表现,发现Transformer在模拟阅读时间和神经活动方面优于RNN。研究表明,Transformer模型能够准确预测人类阅读行为,并隐式编码语言的重要性。此外,提出了ALiBi方法以提升模型性能,并探讨了惊奇度与阅读时间的关系,验证了跨语言的相关性。

训练中的线性最近偏差提升变换器与阅读时间的拟合度

BriefGPT - AI 论文速递
BriefGPT - AI 论文速递 · 2024-09-17T00:00:00Z

本文综述了循环神经网络(RNN)及其变种在手写识别和图像分类中的应用,介绍了多种基于深度学习的模型和方法,如分段RNN、注意力机制和CNN-BiLSTM系统,强调了这些技术在提高识别准确性和效率方面的贡献。同时,研究探讨了标签蒸馏与视觉-语言模型结合在多标签图像识别中的潜力。

通过可学习的放松标签提升基于CNN的手写识别系统

BriefGPT - AI 论文速递
BriefGPT - AI 论文速递 · 2024-09-09T00:00:00Z

本文综述了循环神经网络(RNN)和长短时记忆网络(LSTM)的研究进展,探讨了新型记忆模型和算法在序列学习中的应用,强调了递归神经网络在长期记忆学习中的挑战及其与非递归网络的关系,并提出了改进学习效果的新方法。

漩涡网络

BriefGPT - AI 论文速递
BriefGPT - AI 论文速递 · 2024-08-29T00:00:00Z

本文提出了一系列时空数据建模和预测框架,重点处理稀疏数据。通过结合自激励点过程和图结构循环神经网络,提升了实时预测的准确性,尤其在犯罪和交通预测方面表现优异。新模型TGCRN和SAGDFN在真实数据集上取得了领先的预测效果,展现了在复杂时空相关性建模中的优势。

TG-PhyNN:一种增强的物理感知图神经网络框架用于时空数据预测

BriefGPT - AI 论文速递
BriefGPT - AI 论文速递 · 2024-08-29T00:00:00Z

该研究提出了一种基于循环神经网络和Transformer的视频多目标分割模型,结合语言和视频进行引用视频对象分割(RVOS),在多个基准测试中表现优异。引入时间感知机制和弱监督信息显著提高了时间一致性和分割精度,展示了强大的泛化能力。

释放GPT的时空推理能力以实现无训练的音频和语言参考视频物体分割

BriefGPT - AI 论文速递
BriefGPT - AI 论文速递 · 2024-08-28T00:00:00Z

本研究提出了一种通用的循环神经网络压缩技术,能够将LSTM声学模型减小至原来的三分之一,同时保持准确性。研究还探讨了基于深度神经网络的音频编解码器和非线性压缩方法,展示了在多个音频领域的优越性能。比较不同模型在音频效果模拟中的表现,发现LSTM在失真和均衡器方面表现最佳,而State Space模型在饱和和压缩方面更具优势。

利用选择性状态空间模型对光学压缩器的时变响应进行建模

BriefGPT - AI 论文速递
BriefGPT - AI 论文速递 · 2024-08-22T00:00:00Z

该研究提出了一种基于循环神经网络的视频多目标分割模型,具备零样本学习和时间连贯性,推理速度快且表现优异。通过多模态对比监督和动态过滤器等方法,显著提升了视频对象分割性能,并在多个基准测试中超越现有技术。此外,研究还提出了Segment Anything Model 2,构建了大型分割数据集,提升了视频物体分割的精度。

第二届LSVOS挑战赛RVOS赛道的解决方案:空间-时间细化以实现一致的语义分割

BriefGPT - AI 论文速递
BriefGPT - AI 论文速递 · 2024-08-22T00:00:00Z
  • <<
  • <
  • 1 (current)
  • 2
  • 3
  • >
  • >>
👤 个人中心
在公众号发送验证码完成验证
登录验证
在本设备完成一次验证即可继续使用

完成下面两步后,将自动完成登录并继续当前操作。

1 关注公众号
小红花技术领袖公众号二维码
小红花技术领袖
如果当前 App 无法识别二维码,请在微信搜索并关注该公众号
2 发送验证码
在公众号对话中发送下面 4 位验证码
小红花技术领袖俱乐部
小红花·文摘:汇聚分发优质内容
小红花技术领袖俱乐部
Copyright © 2021-
粤ICP备2022094092号-1
公众号 小红花技术领袖俱乐部公众号二维码
视频号 小红花技术领袖俱乐部视频号二维码