谷歌推出的新架构Titans结合了注意力机制和长期记忆模块，能够处理超过200万tokens的上下文，性能超越Transformer和GPT-4。Titans通过三种变体（MAC、MAG、MAL）优化记忆管理，在语言建模和时序预测等任务中表现优异，开辟了新的研究方向。

AIxiv报道了Salesforce、新加坡国立大学和香港科技大学（广州）共同开发的时序预测模型Moirai-MoE。该模型利用稀疏混合专家技术，在39个数据集上显著提升了预测性能，克服了传统模型在多样化时序数据上的局限性，同时在训练效率和推理速度上也表现优异。

该研究探讨了语言模型在时序预测任务中的应用，发现其性能不佳且计算量大。研究团队提出了三种消融方法来评估语言模型的影响，发现这些方法在大多数情况下优于基于语言模型的方法。预训练语言模型对时序预测的帮助有限，基于语言模型的方法的计算强度并不能提升性能。总之，语言模型在时序预测任务中的应用有待改进。