2017年,Transformer架构引入了注意力机制,但计算成本随着序列长度增加而显著上升。Google Research推出Titans和MIRAS架构,结合RNN的速度与Transformer的准确性,支持超长上下文处理。Titans模仿人脑记忆,采用短期、长期和持久记忆,通过“惊喜度量”选择性更新信息。MIRAS统一序列建模方法,拓展了设计空间,推动AI记忆系统的发展。
谷歌在NeurIPS 2025上推出了新架构Titans和MIRAS,突破了Transformer在超长上下文处理中的限制。Titans结合了RNN的速度与Transformer的性能,能够动态更新记忆,扩展上下文至200万token。MIRAS则提供统一的序列建模框架,优化信息整合与记忆更新。这些新架构在处理长序列时优于现有模型,标志着AI领域的重要进展。
本研究探讨了大语言模型推理服务中的高延迟和低吞吐量问题,提出了实例级和集群级的创新方法,并分析了模型部署、请求调度和负载均衡等关键环节,优化后显著提升了推理服务性能。
Titans是人工智能领域的重要进展,结合短期注意机制与可训练的长期记忆模块,克服了传统模型在处理长序列时的局限性。它在语言建模、时间序列预测和基因组分析等任务中表现出色,展现出更高的准确性和效率。Titans的混合记忆系统模仿人类记忆,具备适应性遗忘和并行训练等创新特性,未来有望在多个领域带来变革。
谷歌在Gmail和Docs中推出免费的AI服务,但Workspace的价格上涨。微软重新推出Copilot,提供免费的AI聊天和按需代理。ChatGPT新增任务功能,支持提醒和待办事项。同时,美国限制向多个国家出口AI芯片,影响Nvidia等科技公司。
谷歌推出的新架构Titans结合了注意力机制和长期记忆模块,能够处理超过200万tokens的上下文,性能超越Transformer和GPT-4。Titans通过三种变体(MAC、MAG、MAL)优化记忆管理,在语言建模和时序预测等任务中表现优异,开辟了新的研究方向。
Canalys是一家成立于1998年的全球科技市场研究机构,专注于技术渠道和智能手机领域,提供订阅服务、项目咨询及渠道活动,业务覆盖四大洲。文章还提及与TechTarget和Informa Tech合作,并推广其Omdia品牌及行业活动,强调其专业分析和市场洞察能力。
本文介绍Canalys公司,一家全球知名的科技市场研究机构,专注于技术渠道和智能手机领域。公司成立于1998年,业务遍及四大洲,提供订阅服务、定制项目及行业活动,帮助科技企业分析市场趋势、管理合作伙伴生态,并推动业务增长。
完成下面两步后,将自动完成登录并继续当前操作。