小红花·文摘
  • 首页
  • 广场
  • 排行榜🏆
  • 直播
  • FAQ
Dify.AI
近8年后,谷歌Transformer继任者「Titans」来了,上下文记忆瓶颈被打破

谷歌推出的新架构Titans结合了注意力机制和长期记忆模块,能够处理超过200万tokens的上下文,性能超越Transformer和GPT-4。Titans通过三种变体(MAC、MAG、MAL)优化记忆管理,在语言建模和时序预测等任务中表现优异,开辟了新的研究方向。

近8年后,谷歌Transformer继任者「Titans」来了,上下文记忆瓶颈被打破

机器之心
机器之心 · 2025-01-15T09:23:38Z

本研究提出了xPatch模型,旨在解决变换器模型在时序预测中未能充分利用时间关系的问题。xPatch采用双流架构,结合季节-趋势分解模块、MLP线性流和CNN非线性流,显著提升了预测性能并有效防止过拟合。

xPatch: Dual-Stream Time Series Forecasting with Exponential Seasonal-Trend Decomposition

BriefGPT - AI 论文速递
BriefGPT - AI 论文速递 · 2024-12-23T00:00:00Z
新视角设计下一代时序基础模型,Salesforce推出Moirai-MoE

AIxiv报道了Salesforce、新加坡国立大学和香港科技大学(广州)共同开发的时序预测模型Moirai-MoE。该模型利用稀疏混合专家技术,在39个数据集上显著提升了预测性能,克服了传统模型在多样化时序数据上的局限性,同时在训练效率和推理速度上也表现优异。

新视角设计下一代时序基础模型,Salesforce推出Moirai-MoE

机器之心
机器之心 · 2024-10-31T05:07:54Z

本文提出了一种新的扩散模型训练方法,结合时间动态信息以增强时序预测能力。通过DiffDA数据同化方法,生成与观测一致的全球大气同化数据,并展示其在偏微分方程求解中的应用潜力。此外,研究探讨了无训练条件扩散模型在随机微分方程建模中的优势,显著提高了预测效率和准确性。

关于用于偏微分方程模拟的条件扩散模型

BriefGPT - AI 论文速递
BriefGPT - AI 论文速递 · 2024-10-21T00:00:00Z

本文介绍了SSDNet,一种结合Transformer架构和状态空间模型的深度学习方法,用于时序预测,能够提供准确且可解释的趋势和季节性预测。SSDNet在多个数据集上表现优异,超越了现有方法。同时,文章探讨了状态空间模型的最新研究进展及其在机器学习中的应用,强调未来研究方向。

通过深度状态空间模型的频谱视角评估时间序列训练数据集

BriefGPT - AI 论文速递
BriefGPT - AI 论文速递 · 2024-08-29T00:00:00Z
LLM用于时序预测真的不行,连推理能力都没用到

该研究探讨了语言模型在时序预测任务中的应用,发现其性能不佳且计算量大。研究团队提出了三种消融方法来评估语言模型的影响,发现这些方法在大多数情况下优于基于语言模型的方法。预训练语言模型对时序预测的帮助有限,基于语言模型的方法的计算强度并不能提升性能。总之,语言模型在时序预测任务中的应用有待改进。

LLM用于时序预测真的不行,连推理能力都没用到

机器之心
机器之心 · 2024-07-06T02:42:31Z

本文介绍了多种基于状态空间模型(SSM)的时序预测模型,如S-Mamba和D-Mamba,强调其在节省GPU内存和训练时间的同时提升性能。Mamba模型在语言、音频和基因组等领域表现优异,尤其在处理长序列时显著快于Transformer。此外,研究还提出了SegMamba、Graph-Mamba和PointMamba等新模型,分别在医学图像分割、图网络预测和点云分析中取得了先进性能,展示了SSM在多种任务中的潜力。

将 Mamba 和 Transformer 整合用于长短程时间序列预测

BriefGPT - AI 论文速递
BriefGPT - AI 论文速递 · 2024-04-23T00:00:00Z
  • <<
  • <
  • 1 (current)
  • >
  • >>
👤 个人中心
在公众号发送验证码完成验证
登录验证
在本设备完成一次验证即可继续使用

完成下面两步后,将自动完成登录并继续当前操作。

1 关注公众号
小红花技术领袖公众号二维码
小红花技术领袖
如果当前 App 无法识别二维码,请在微信搜索并关注该公众号
2 发送验证码
在公众号对话中发送下面 4 位验证码
友情链接: MOGE.AI 九胧科技 模力方舟 Gitee AI 菜鸟教程 Remio.AI DeekSeek连连 53AI 神龙海外代理IP IPIPGO全球代理IP 东波哥的博客 匡优考试在线考试系统 开源服务指南 蓝莺IM Solo 独立开发者社区 AI酷站导航 极客Fun 我爱水煮鱼 周报生成器 He3.app 简单简历 白鲸出海 T沙龙 职友集 TechParty 蟒周刊 Best AI Music Generator

小红花技术领袖俱乐部
小红花·文摘:汇聚分发优质内容
小红花技术领袖俱乐部
Copyright © 2021-
粤ICP备2022094092号-1
公众号 小红花技术领袖俱乐部公众号二维码
视频号 小红花技术领袖俱乐部视频号二维码