小红花·文摘
  • 首页
  • 广场
  • 排行榜🏆
  • 直播
  • FAQ
Dify.AI
近8年后,谷歌Transformer继任者「Titans」来了,上下文记忆瓶颈被打破

谷歌推出的新架构Titans结合了注意力机制和长期记忆模块,能够处理超过200万tokens的上下文,性能超越Transformer和GPT-4。Titans通过三种变体(MAC、MAG、MAL)优化记忆管理,在语言建模和时序预测等任务中表现优异,开辟了新的研究方向。

近8年后,谷歌Transformer继任者「Titans」来了,上下文记忆瓶颈被打破

机器之心
机器之心 · 2025-01-15T09:23:38Z

本研究提出了xPatch模型,旨在解决变换器模型在时序预测中未能充分利用时间关系的问题。xPatch采用双流架构,结合季节-趋势分解模块、MLP线性流和CNN非线性流,显著提升了预测性能并有效防止过拟合。

xPatch: Dual-Stream Time Series Forecasting with Exponential Seasonal-Trend Decomposition

BriefGPT - AI 论文速递
BriefGPT - AI 论文速递 · 2024-12-23T00:00:00Z
新视角设计下一代时序基础模型,Salesforce推出Moirai-MoE

AIxiv报道了Salesforce、新加坡国立大学和香港科技大学(广州)共同开发的时序预测模型Moirai-MoE。该模型利用稀疏混合专家技术,在39个数据集上显著提升了预测性能,克服了传统模型在多样化时序数据上的局限性,同时在训练效率和推理速度上也表现优异。

新视角设计下一代时序基础模型,Salesforce推出Moirai-MoE

机器之心
机器之心 · 2024-10-31T05:07:54Z

本文提出了一种新的扩散模型训练方法,结合时间动态信息以增强时序预测能力。通过DiffDA数据同化方法,生成与观测一致的全球大气同化数据,并展示其在偏微分方程求解中的应用潜力。此外,研究探讨了无训练条件扩散模型在随机微分方程建模中的优势,显著提高了预测效率和准确性。

关于用于偏微分方程模拟的条件扩散模型

BriefGPT - AI 论文速递
BriefGPT - AI 论文速递 · 2024-10-21T00:00:00Z

本文介绍了SSDNet,一种结合Transformer架构和状态空间模型的深度学习方法,用于时序预测,能够提供准确且可解释的趋势和季节性预测。SSDNet在多个数据集上表现优异,超越了现有方法。同时,文章探讨了状态空间模型的最新研究进展及其在机器学习中的应用,强调未来研究方向。

通过深度状态空间模型的频谱视角评估时间序列训练数据集

BriefGPT - AI 论文速递
BriefGPT - AI 论文速递 · 2024-08-29T00:00:00Z
LLM用于时序预测真的不行,连推理能力都没用到

该研究探讨了语言模型在时序预测任务中的应用,发现其性能不佳且计算量大。研究团队提出了三种消融方法来评估语言模型的影响,发现这些方法在大多数情况下优于基于语言模型的方法。预训练语言模型对时序预测的帮助有限,基于语言模型的方法的计算强度并不能提升性能。总之,语言模型在时序预测任务中的应用有待改进。

LLM用于时序预测真的不行,连推理能力都没用到

机器之心
机器之心 · 2024-07-06T02:42:31Z

本文介绍了多种基于状态空间模型(SSM)的时序预测模型,如S-Mamba和D-Mamba,强调其在节省GPU内存和训练时间的同时提升性能。Mamba模型在语言、音频和基因组等领域表现优异,尤其在处理长序列时显著快于Transformer。此外,研究还提出了SegMamba、Graph-Mamba和PointMamba等新模型,分别在医学图像分割、图网络预测和点云分析中取得了先进性能,展示了SSM在多种任务中的潜力。

将 Mamba 和 Transformer 整合用于长短程时间序列预测

BriefGPT - AI 论文速递
BriefGPT - AI 论文速递 · 2024-04-23T00:00:00Z
  • <<
  • <
  • 1 (current)
  • >
  • >>
👤 个人中心
在公众号发送验证码完成验证
登录验证
在本设备完成一次验证即可继续使用

完成下面两步后,将自动完成登录并继续当前操作。

1 关注公众号
小红花技术领袖公众号二维码
小红花技术领袖
如果当前 App 无法识别二维码,请在微信搜索并关注该公众号
2 发送验证码
在公众号对话中发送下面 4 位验证码
小红花技术领袖俱乐部
小红花·文摘:汇聚分发优质内容
小红花技术领袖俱乐部
Copyright © 2021-
粤ICP备2022094092号-1
公众号 小红花技术领袖俱乐部公众号二维码
视频号 小红花技术领袖俱乐部视频号二维码